AI教父联名OpenAI、DeepMind、Anthropic:警惕CoT
就在今天,小扎的 Meta 公司「挖角」了一个大的,将思维链(CoT)论文的第一作者 Jason Wei 招至他们的超级智能团队。作为参与 OpenAI o1 和 deep research 模型的知名研究员,Jason Wei 的离开,或让 OpenAI 损失巨大。 文件链接:https://tomekkorbak.com/cot-monitorability-is-a-fragile-opportunity/cot_monitoring.pdf 众所周知,推理模型是驱动 AI agent 的核心技术,作者认为,随着 AI agent 的普及和能力提升,CoT monitoring 可能成为控制其行为的核心方法。 "然而,目前这种可见性程度能否持续尚无保证。我们鼓励研究界和前沿 AI 开发者充分利用 CoT 可监测性,并研究如何保持其透明度。" 在立场文件中,作者要求领先的 AI 模型开发者研究使 CoT 可监测的因素——换言之,哪些因素会增加或减少对 AI 模型实际得出答案过程的透明度。 同时,今天另一件与 CoT 相关的新闻是,OpenAI、Google DeepMind、Anthropic 公司"罕见 ...