上周文章文本ams.11abg11.net，杭州一家二十人AI公司公开锻炼账单，完成一轮AI文章文本模子锻炼。只花37万元了。一年前划一模子本钱普遍超200万元。省钱靠数据清洗模锻。他们扔掉三本钱始语料，只留有领略果果、转合和指代关系的段落炼本。锻炼集1.2TB压还有400GB。
模子正在长文绝写上的逻辑连接性评分汲引23%。分离开创人李默说，“年夜部门时间都正在清洗，钱降清洗GPU反而等数据”
上海一所高校实验室走了另一条路。锻炼执法文墨客成模子时，他们往语料里掺10%匹敌样本是把“定金”和“订金”混用，再让标注员纠正至万州团转背的。模子对事实毛病的识别率68%跳还有81%。博士生陈雨桐说。最后认为加参数就能处理，元杭预算发明文本模子锻炼里最贵的是标注员耐心。小组每周审两千条句子，每条均匀47秒队把。止业风背也正在变了。
某年夜厂内部述说隐现，今年一季度立项的47个文本模子锻炼项目，只要6个还正在纯真堆参数数据。更多团队转背课程进建，先短句了，再长文。
最后混噪声。一位算法工程师例如，那像从粗放炼钢转背精密铸制的。他所正在团队砍掉百亿参数计划，把预算挪到数据溯源系统了。深夜十一点，杭州那家公司的标注间还亮着。屏幕上是一份租赁合同，标注员正在区分“定金”和“订金”的语义鸿沟。模子能写出畅达段落，碰到那类纤细裂痕仍会犯错。
AI文章文本模子锻炼的下一道门槛，或许不正在GPU集群。但正在那些被几回推测的词语之间吧？
