挑战AI数学推理极限！大规模形式化数学基准FormalMATH发布，最强模型成功率仅16%

FormalMATH团队 投稿 量子位 | 公众号 QbitAI 最强AI模型面对5560道数学难题，成功率仅16.46%？背后真相大揭秘。 香港中文大学、西湖大学、MAP、浙江大学、马克斯·普朗克智能系统研究所等机构联合推出 FormalMATH形式化数学推理基准测试 ，含 5560道经过严格验证的数学题，覆盖从奥数到大学水平的代数、微积分、数论等领域。 形式化数学推理是人工智能领域公认的核心难题之一。 尽管大语言模型（LLM）在自然语言处理和代码生成等领域取得显著进展，但面对需要严格逻辑推导的数学定理证明任务时，其能力仍面临严 峻挑战。 FormalMATH：「超大规模」的形式化数学推理基准 规模突破：22.8倍于现有基准 FormalMATH包含5560个经过Lean4编译器验证的数学命题，涵盖代数、数论、微积分、离散数学等12个子领域，问题难度从国际数学奥林 匹克（IMO）竞赛级延伸至本科课程，规模是经典基准MiniF2F的22.8倍。 构建创新：人类在循环中的自动化流程用于自动形式化和语义一致性检测 为解决传统形式化数据依赖专家手动标注的瓶颈，研究团队提出了一套 「三阶段过滤」 框架： 现有LLM证 ...