细粒度视觉推理链引入数学领域，准确率暴涨32%，港中文MMLab打破多模态数学推理瓶颈

MINT-CoT团队 投稿 量子位 | 公众号 QbitAI 思维链（Chain of Thought, CoT）推理方法已被证明能够显著提升大语言模型（LLMs）在复杂任务中的表现。而在多模态大语言模型 （MLLMs）中，CoT 同样展现出了巨大潜力。 3. 过度依赖外部功能 像 MVoT 或 Visual SKETCHPAD 等方法，需要借助外部工具或能力来生成或修改图像，训练和推理过程成本高、不通用。 然而，当视觉信息与数学推理结合时，传统的 CoT 方法就显得力不从心了——视觉输入中的数学细节往往被忽略，导致推理结果不准确。 最近，香港中文大学 MMLab 团队正式发布了全新的视觉推理方案——MINT-CoT，专为解决"多模态数学推理"中的难题而设计。 为什么数学视觉推理这么难？ 尽管已有一些研究尝试把视觉信息引入 CoT 推理，例如 Visual-CoT、Visual SKETCHPAD、VPT、ICoT 等方法，但在数学场景下依然存 在 三大瓶颈： 1. 粗粒度图像区域选择 大部分方法依赖边界框（Bounding Box）来截取图像区域。但数学图像里的元素（比如坐标轴、几何图形、标注文字等）高度关 ...