机器之心报道 编辑：泽南、陈陈 像人一样推理。 大模型的架构，到了需要变革的时候？ 在对复杂任务的推理工作上，当前的大语言模型（LLM）主要采用思维链（CoT）技术，但这些技术存在任务分解复杂、数据需求大以及高延迟等问题。 近日，受到人脑分层和多时间尺度处理机制启发，来自 Sapient Intelligence 的研究者提出了分层推理模型（HRM），这是一种全新循环架构，能够在保持训练稳定 性和效率的同时，实现高计算深度。 具体来说，HRM 通过两个相互依赖的循环模块，在单次前向传递中执行顺序推理任务，而无需对中间过程进行明确的监督：其中一个高级模块负责缓慢、抽象的 规划，另一个低级模块负责处理快速、细致的计算。HRM 仅包含 2700 万个参数，仅使用 1000 个训练样本，便在复杂的推理任务上取得了卓越的性能。 该模型无需预训练或 CoT 数据即可运行，但在包括复杂数独谜题和大型迷宫中最优路径查找在内的挑战性任务上却取得了近乎完美的性能。此外，在抽象与推理 语料库 (ARC) 上，HRM 的表现优于上下文窗口明显更长的大型模型。ARC 是衡量通用人工智能能力的关键基准。 由此观之，HRM 具有推动通用计 ...

文科成绩683分，理科648分。 近日，豆包Seed1.6-Thinking模型测试了2025高考全科，交出一份成绩优异的答卷。该测试采用全国新 一卷和山东省自主命题。 豆包多项考试成绩优异，高考成绩直逼"清北" 随着高考的结束，AI大模型也开启了一轮"竞技"。 豆包不"偏科"，推理效果和性能更加平衡 细心的网友可能看到，豆包理科成绩怎么比文科差几十分？AI大模型是不是偏科呀？ Seed团队表示，首次测试时使用的网络版考卷清晰度较低，各大模型在化学、生物两门非常依赖图像的 考试中丢分较多。该团队在获得更高清版本的高考试题图片后，采用图文交织的方式对化学和生物重新 进行测试，发现豆包模型在这两科上能够提升近30分，理科总成绩可达到676分，验证了全模态推理可 以更大程度激发模型的潜力。 这不但证明了豆包Seed1.6-Thinking模型并不偏科，同时也具备了较好的视觉推理能力。也说明结合文 本和图片进行全模态推理可以更大程度激发模型的潜力，相信这也是未来值得投入的研究方向。 2025年高考测试结果显示，豆包的语文、英语、物理、历史、地理、政治六门学科获最高分，数学成绩 也超过140分；DeepSeek R1获 ...

MINT-CoT团队 投稿 量子位 | 公众号 QbitAI 思维链（Chain of Thought, CoT）推理方法已被证明能够显著提升大语言模型（LLMs）在复杂任务中的表现。而在多模态大语言模型 （MLLMs）中，CoT 同样展现出了巨大潜力。 3. 过度依赖外部功能 像 MVoT 或 Visual SKETCHPAD 等方法，需要借助外部工具或能力来生成或修改图像，训练和推理过程成本高、不通用。 然而，当视觉信息与数学推理结合时，传统的 CoT 方法就显得力不从心了——视觉输入中的数学细节往往被忽略，导致推理结果不准确。 最近，香港中文大学 MMLab 团队正式发布了全新的视觉推理方案——MINT-CoT，专为解决"多模态数学推理"中的难题而设计。 为什么数学视觉推理这么难？ 尽管已有一些研究尝试把视觉信息引入 CoT 推理，例如 Visual-CoT、Visual SKETCHPAD、VPT、ICoT 等方法，但在数学场景下依然存 在 三大瓶颈： 1. 粗粒度图像区域选择 大部分方法依赖边界框（Bounding Box）来截取图像区域。但数学图像里的元素（比如坐标轴、几何图形、标注文字等）高度关 ...

R-KV团队 投稿 量子位 | 公众号 QbitAI 推理大模型虽好，但一个简单的算数问题能推理整整三页，还都是重复的"废话"，找不到重点…… 链式思考（Chain-of-Thought,CoT）让LLM解题思路清晰可见，却也让推理长度指数级膨胀。 以DeepSeek-R1-Llama-8B为例，一道AIME数学题就能写出 3.2万 个Token：模型权重15.5GB，KV缓存再吃 4.1GB ——显存瞬间见底。 现有KV压缩方法（SnapKV、StreamingLLM、H2O等）主要针对 长输入 设计，可一旦模型在输出端开始"碎碎念"，相似句子之间互相打高 分注意力，反而让"按注意力删低分"策略失灵： 造成关键步骤被误删、重复内容却被保留、准确率断崖式下跌等问题。 而R-KV通过以下步骤，在模型解码时实时压缩KV缓存来处理冗余的键/值（KV）标记，仅保留重要且非冗余的标记： 让"长时间推理"不再是奢侈品。 项目详情可见文末链接。 R-KV三步走：冗余识别+重要性评估+动态淘汰 一种可以把大模型的"碎碎念"转化为可控记忆条目的高效压缩方法，出现了！ R-KV开源登场： 显存↓90%、吞吐×6.6、准确率=10 ...

本文共同一作是张翔和曹峻泰。张翔是英属哥伦比亚大学研究生，主要研究兴趣集中在大模型推理和 AI for Science；曹峻泰是英属哥伦比亚大学研究生， 主要研究兴趣集中在大模型推理和可解释性研究；本文通讯作者是来自纽约大学石溪分校的助理教授尤晨羽，以及来自 Meta Gen AI 的研究员丁渡鉴。 近年来，大型语言模型（LLM）在自然语言处理领域取得了革命性进展。然而，其底层的 Transformer 架构在处理复杂推理任务时仍有不足。尽管「思维 链」（CoT）提示技术提供了一条实用路径，但多数方法依赖通用指令，导致提示工程高度依赖反复试验，缺乏理论指导。 图 1 ：Prompt 模板深刻影响着答案空间的配置和导航方式。左侧展示了不同的 Prompt（如 Auto-Prompt、RL-Prompt）如何在「Prompt 空间」中进行搜索，而右侧则展示了在特定 Prompt 指导下，如何在「答案空间」中进行搜索以得到解决方案（如 Tree-of-Thought、Graph-of-Thought）。 来自英属哥伦比亚大学、纽约大学石溪分校和浙江大学的研究团队深入剖析了 Prompt 如何在 LLM 的 CoT ...

奥特曼使用大模型的方法，竟然是错的？ 克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 来自沃顿商学院等机构的最新研究发现，备受奥特曼喜爱的 "直接回答"提示，竟然会显著降低模型准确率 。 不过另一方面，这项研究也发现， 在提示词中加入思维链（CoT）命令同样不好用 —— CoT提示对于推理模型非但没有效果提升，反而会增加时间和计算成本。 而一些前沿的非推理模型，CoT提示可以带来效果提升，但答案的不稳定性也随之增加了。 研究团队使用GPQA Diamond数据集，针对现在主流的推理和非推理模型，分别在启用和不启用CoT的情况下进行了测试。 结果就是对于推理模型，CoT的作用十分有限，比如对于o3-mini，CoT带来的准确率提升只有4.1%，但时间却增加了80%。 非推理模型的结果则要复杂一些，但总之要不要用CoT，也需要对收益和投入进行仔细权衡。 所以CoT到底该不该用呢？ 实际上，这项研究针对的是用户提示词中的CoT命令，并不包括系统提示词设定，更 不是CoT本身 。 CoT提示词作用有限，甚至还有反效果 结果， 对于非推理模型，CoT提升相比于直接回答，所有模型的平均评分和"51%正确"指标都有 ...

Investment Rating - The report does not explicitly state an investment rating for the industry or the specific technology discussed. Core Insights - The research explores the application of Multimodal Chain of Thought (MCoT) in investment research, particularly in technical analysis using K-line charts, leading to the development of an automated platform called GPT-Kline [1][4][13]. - MCoT enhances the reasoning capabilities of large models by combining multimodal understanding with logical reasoning, allowing for more sophisticated analysis of complex tasks [2][21]. - The O3 model, launched by OpenAI, demonstrates impressive image reasoning capabilities, marking a significant step towards achieving general artificial intelligence (AGI) [2][37]. Summary by Sections Multimodal Reasoning - Multimodal collaboration is essential for large models to progress towards AGI, requiring them to be proficient in various modalities beyond just language [17]. - MCoT represents a significant advancement, enabling models to think based on images rather than merely perceiving them [21][31]. Application in Investment Research - The report highlights the potential of MCoT in technical analysis, particularly with K-line charts, which encapsulate vital trading information and patterns suitable for analysis [3][42]. - The O3 model's application in technical analysis shows its ability to process K-line images, perform necessary pre-processing, and generate analytical reports [3][43]. Development of GPT-Kline - GPT-Kline integrates MCoT with the capabilities of large models to create a specialized tool for K-line technical analysis, automating the entire analysis process from drawing to reporting [4][65]. - The platform features a user-friendly web interface designed for intuitive interaction, allowing users to engage with the analysis process effectively [4][83]. Model Comparison and Performance - The report compares various large models, including OpenAI's GPT-4o and Gemini-2.5 series, assessing their capabilities in K-line analysis and identifying Gemini-2.5 Flash as a strong performer [66][96]. - The analysis results indicate that while OpenAI's models tend to be conservative in their outputs, the Gemini models provide more comprehensive and accurate annotations [95][96].

选自 Lil'Log 作者： Lilian Weng 机器之心编译 学习大模型的优质博客又更新了！ 最近，北大校友、前 OpenAI 应用 AI 研究负责人 Lilian Weng 更新了一篇长长长长长长长博客《Why We Think》。 文章回顾了近期在如何有效利用测试时计算（即「思考时间」）及其作用机制方面的研究进展，旨在让模型「思考得更久」这一目标可以从多个角度得到合理动 机支持。 通过观察 GPT、Claude、Gemini 等模型的迭代，可以清晰地看到，它们在复杂逻辑推理、长文本理解、数学问题求解以及代码生成与调试等高级认知任务上的性 能边界被不断拓展。 这种性能的提升得益于思维链（CoT）和测试时计算等策略的优化，但也带来了新的研究挑战。 为了方便国内读者更好地学习这篇内容，机器之心对此文章进行了编译。感兴趣的读者也可查阅原英文内容。 英文博客链接： https://lilianweng.github.io/posts/2025-05-01-thinking/ 类比心理学 该核心思想与人类的思维方式密切相关。人类通常无法立即给出「12345 × 56789」的答案，对于复杂问题，进行一段时间的思 ...

机器之心报道 编辑：陈萍 该研究对 LLM 常见的失败模式贪婪性、频率偏差和知 - 行差距，进行了深入研究。 大语言模型（LLMs）的成功激发了人们对各种智能体的兴趣。将 LLM 用于智能体的一个关键假设是，LLMs 利用常识和思维链（Chain-of-Thought, CoT）进行推 理，从而智能体可以有效地探索并高效地解决复杂领域的问题。 然而，LLM 智能体存在次优探索和知 - 行差距（knowing-doing gap）的问题，即无法有效地将模型中的知识转化为行动。 本文，来自谷歌 DeepMind 的研究者系统地研究了为什么 LLM 在决策场景中表现次优的原因。特别是，本文深入研究了三种常见的失败模式： 贪婪性、频率偏差 和知 - 行差距 。 在此基础上，本文提出通过强化学习对自动生成的 CoT 推理过程进行微调，以缓解这些不足。实验表明 RL 微调能有效提升 LLMs 的决策能力 —— 既增强了智能 体探索性行为，又缩小了知 - 行差距。 方法介绍 本文系统性地分析了中小规模 LLMs 存在的三种典型缺陷：贪婪性策略、频率偏差以及知行差距。分析表明，由于 LLMs 过早陷入贪婪动作选择策略，导致动 ...

本文作者均来自中兴通讯无线研究院「大模型深潜」团队。团队重点攻关方向包括「推理模型构建：蒸馏与强化学习方法」、「无线通信故障定位与根因分析推 理模型」、「多模态推理模型」和「推理加速技术」。核心成员毕业于中国科学技术大学、中国科学院软件研究所等知名高校与科研院所。 近年来，「思维链（Chain of Thought，CoT）」成为大模型推理的显学，但要让小模型也拥有长链推理能力却非易事。 中兴通讯无线研究院「大模型深潜团队」从 「数据静态经验流」 的角度切入，首创 「LLM 自适应题目难度蒸馏」 方法，一举将高质量 CoT 语料的生产效率与效 果同步拉满。 论文标题：Rethinking the Generation of High-Quality CoT Data from the Perspective of LLM-Adaptive Question Difficulty Grading 论文链接：https://arxiv.org/pdf/2504.11919 这促使业界对参数量低于 70 亿的小型模型开展持续研究，尤其聚焦在复杂数学解题和代码生成等长链推理场景。值得注意的是，借助 DeepSeek- ...