现有路径不通？OpenAI、亚马逊考虑改变大模型训练方式

以下文章来源于硬AI ，作者专注科技产研的 AI时代，快人一步~ 随着人工智能领域竞争进入深水区，行业顶尖研究人员正对现有的模型训练范式提出质疑。 来源 |硬AI 硬AI . 来自OpenAI、Thinking Machines Lab以及亚马逊的研究人员正在探讨一种根本性的转变： 放弃目前通用的"先预训练、后后训练"的标准流 程，转而采用针对特定任务更早引入精选数据的训练模式，以解决现有模型的效率低下和"裂脑问题"等缺陷。 这一潜在的转变由亚马逊的David Luan等人大力倡导。其核心观点在于，目前的通用训练路径——即先赋予模型广泛的世界知识（如诗歌或园 艺），再针对特定任务（如代码编写或客户退款）进行微调——在逻辑上并不总是合理的。研究人员认为， 如果模型的最终用途已经确定，那 么在预训练阶段就应引入与任务高度相关的精选数据，从而更直接地为最终目标服务。 这种方法论的调整若付诸实践，将深刻改变AI行业的开发格局。这不仅意味着开发团队可能不再需要按照预训练和后后训练进行人为分割，更 预示着市场将从"一个通用模型适应所有场景"走向"基于不同数据集构建专用模型"的时代。这种转变将迫使开发者在训练初期就对数据进 ...