低Token高精度！字节复旦推出自适应推理框架CAR

复旦大学余海洋 投稿 量子位 | 公众号 QbitAI 过度依赖CoT思维链推理会降低模型性能，有新解了！ 来自字节、复旦大学的研究人员提出 自适应推理框架CAR ，能根据模型困惑度动态选择短回答或详细的长文本推理，最终实现了准确性与效 率的最佳平衡。 推理能力的进步极大提升了大语言模型（LLMs）和多模态大语言模型（MLLMs）在各类任务中的表现。 但已有研究发现， 长CoT推理并非总能提升准确率，甚至会削弱模型处理简单任务的能力 （可能产生冗长输出） 。 为此，研究人员提出了CAR这一基于置信度的自适应推理框架，它首先生成简短回答并评估困惑度，仅在模型置信度低（困惑度高）时触发 推理。 在多模态视觉问答、关键信息提取及文本推理等多个基准测试中， CAR超越了单纯的短回答与长推理方法，在准确性与效率之间取得了最佳 平衡。 先导实验设置 这项研究聚焦文本密集型视觉问答（VQA）和关键信息抽取（KIE）领域，选取 8个 具有代表性的公开数据集开展先导实验。 其中，DocVQA、InfoVQA、ChartQA、VisualMRC等4个数据集构成VQA数据集，覆盖文档、图表、信息图等多种视觉文本形态； SROIE、 ...