机器之心报道 编辑：泽南、陈陈 像人一样推理。 大模型的架构，到了需要变革的时候？ 在对复杂任务的推理工作上，当前的大语言模型（LLM）主要采用思维链（CoT）技术，但这些技术存在任务分解复杂、数据需求大以及高延迟等问题。 近日，受到人脑分层和多时间尺度处理机制启发，来自 Sapient Intelligence 的研究者提出了分层推理模型（HRM），这是一种全新循环架构，能够在保持训练稳定 性和效率的同时，实现高计算深度。 具体来说，HRM 通过两个相互依赖的循环模块，在单次前向传递中执行顺序推理任务，而无需对中间过程进行明确的监督：其中一个高级模块负责缓慢、抽象的 规划，另一个低级模块负责处理快速、细致的计算。HRM 仅包含 2700 万个参数，仅使用 1000 个训练样本，便在复杂的推理任务上取得了卓越的性能。 该模型无需预训练或 CoT 数据即可运行，但在包括复杂数独谜题和大型迷宫中最优路径查找在内的挑战性任务上却取得了近乎完美的性能。此外，在抽象与推理 语料库 (ARC) 上，HRM 的表现优于上下文窗口明显更长的大型模型。ARC 是衡量通用人工智能能力的关键基准。 由此观之，HRM 具有推动通用计 ...

本文共同一作是张翔和曹峻泰。张翔是英属哥伦比亚大学研究生，主要研究兴趣集中在大模型推理和 AI for Science；曹峻泰是英属哥伦比亚大学研究生， 主要研究兴趣集中在大模型推理和可解释性研究；本文通讯作者是来自纽约大学石溪分校的助理教授尤晨羽，以及来自 Meta Gen AI 的研究员丁渡鉴。 近年来，大型语言模型（LLM）在自然语言处理领域取得了革命性进展。然而，其底层的 Transformer 架构在处理复杂推理任务时仍有不足。尽管「思维 链」（CoT）提示技术提供了一条实用路径，但多数方法依赖通用指令，导致提示工程高度依赖反复试验，缺乏理论指导。 图 1 ：Prompt 模板深刻影响着答案空间的配置和导航方式。左侧展示了不同的 Prompt（如 Auto-Prompt、RL-Prompt）如何在「Prompt 空间」中进行搜索，而右侧则展示了在特定 Prompt 指导下，如何在「答案空间」中进行搜索以得到解决方案（如 Tree-of-Thought、Graph-of-Thought）。 来自英属哥伦比亚大学、纽约大学石溪分校和浙江大学的研究团队深入剖析了 Prompt 如何在 LLM 的 CoT ...

选自 Lil'Log 作者： Lilian Weng 机器之心编译 学习大模型的优质博客又更新了！ 最近，北大校友、前 OpenAI 应用 AI 研究负责人 Lilian Weng 更新了一篇长长长长长长长博客《Why We Think》。 文章回顾了近期在如何有效利用测试时计算（即「思考时间」）及其作用机制方面的研究进展，旨在让模型「思考得更久」这一目标可以从多个角度得到合理动 机支持。 通过观察 GPT、Claude、Gemini 等模型的迭代，可以清晰地看到，它们在复杂逻辑推理、长文本理解、数学问题求解以及代码生成与调试等高级认知任务上的性 能边界被不断拓展。 这种性能的提升得益于思维链（CoT）和测试时计算等策略的优化，但也带来了新的研究挑战。 为了方便国内读者更好地学习这篇内容，机器之心对此文章进行了编译。感兴趣的读者也可查阅原英文内容。 英文博客链接： https://lilianweng.github.io/posts/2025-05-01-thinking/ 类比心理学 该核心思想与人类的思维方式密切相关。人类通常无法立即给出「12345 × 56789」的答案，对于复杂问题，进行一段时间的思 ...

MCoT团队 投稿 量子位 | 公众号 QbitAI 多模态思维链 （MCoT） 系统综述来了！ 不仅阐释了与该领域相关的基本概念和定义，还包括详细的分类法、对不同应用中现有方法的分析、对当前挑战的洞察以及促进多模态推理发 展的未来研究方向。 当下，传统思维链 （CoT） 已经让AI在文字推理上变得更聪明，比如一步步推导数学题的答案。但现实世界远比单一文字复杂得多——我们 看图说话、听声辨情、摸物识形。 MCoT的出现就像给AI装上了"多感官大脑"，它 能同时处理图像、视频、音频、3D模型、表格等多种信息 。比如，输入一张CT影像和患者的 病史，AI就能输出诊断报告，还能标注出病灶位置。 这种跨越模态的推理能力，让AI更接近人类的思考方式。 然而，尽管取得了这些进展，该领域仍缺乏全面综述。为了填补这一空白，来自新加坡国立大学、香港中文大学、新加坡南洋理工大学、罗切 斯特大学的研究人员联合完成这项新工作。 以下是更多细节。 MCoT核心方法论 多模态思维链 （MCoT） 的成功依赖于其系统化的方法论体系，以下是对其六大技术支柱的重新表述与润色，旨在提升学术表达的精确性与 流畅性： 1、推理构建视角 基于提示 （ ...