打破合成范式：ToolVQ A 开启真实图像下的多 步工具问答新纪元 本文提出了一种全新的多模态视觉问答数据集 ——ToolVQA，通过真实世界任务与复杂工具链模拟，为大模型提供系统化、多步推理的训练与评估基准。当前， 将外部工具集成进大模型（Large Foundation Models, LFMs）已成为提升其复杂任务处理能力的重要方向。借助外部工具，模型可以将难题拆解为更小的子任务， 交由特定功能的工具处理，从而实现更强的泛化与执行力。 本文第一作者是来自北京大学的本科生殷绍峰，合作者包含来自北京大学的博士生雷廷，通讯作者为北京大学王选计算机研究所研究员、助理教授刘洋。 本文主要介绍来自该团队的最新论文：ToolVQA: A Dataset for Multi-step Reasoning VQA with External Tools。 本文提出了一个旨在提升基础模型工具使用能力的大型多模态数据集 ——ToolVQA。现有研究已在工具增强的视觉问答（VQA）任务中展现出较强性能，但在真 实世界中，多模态任务往往涉及多步骤推理与功能多样的工具使用，现有模型在此方面仍存在显著差距。 为弥补这一空缺， To ...