现有路径不通？OpenAI、亚马逊考虑改变大模型训练方式

随着人工智能领域竞争进入深水区，行业顶尖研究人员正对现有的模型训练范式提出质疑。 来自OpenAI、Thinking Machines Lab以及亚马逊的研究人员正在探讨一种根本性的转变：放弃目前通用 的"先预训练、后后训练"的标准流程，转而采用针对特定任务更早引入精选数据的训练模式，以解决现 有模型的效率低下和"裂脑问题"等缺陷。 这一潜在的转变由亚马逊的David Luan等人大力倡导。其核心观点在于，目前的通用训练路径——即先 赋予模型广泛的世界知识（如诗歌或园艺），再针对特定任务（如代码编写或客户退款）进行微调—— 在逻辑上并不总是合理的。研究人员认为，如果模型的最终用途已经确定，那么在预训练阶段就应引入 与任务高度相关的精选数据，从而更直接地为最终目标服务。 这种方法论的调整若付诸实践，将深刻改变AI行业的开发格局。这不仅意味着开发团队可能不再需要 按照预训练和后后训练进行人为分割，更预示着市场将从"一个通用模型适应所有场景"走向"基于不同 数据集构建专用模型"的时代。这种转变将迫使开发者在训练初期就对数据进行更严格的筛选，从而决 定模型在特定领域的专长与短板。 市场已经出现了这种分化的迹象。Ope ...