谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分

近年来，LLMs（如 GPT-4、Claude、Gemini 等）在代码生成领域取得了显著进展。它们不仅在经典编程基准（如 HumanEval）中表现出色，甚至在某些测试中超 越了人类平均水平。这促使许多研究者开始宣称：LLM 已经胜过人类程序员，尤其是在竞赛编程领域。 更进一步的，在结合了外部工具之后，一些模型（如 o3 和 o4-mini-high）甚至在 Codeforces 平台上获得了超过 2700 的 Elo 评分 —— 这个分数已跻身参赛者前 0.1%。 然而，这些简单的量化评估，真的能体现模型解决复杂问题的能力吗？我们不妨先问几个问题：LLMs 真的具备与顶级人类选手相当的推理能力吗？模型的高分究 竟有多少来自真实的推理能力，又有多少是依赖外部工具的结果？ 为了解答上述问题，来自纽约大学、普林斯顿大学等 8 家机构的研究者提出了 LiveCodeBench Pro ，这是一个极具挑战性的竞技编程基准测试。 值得一提的是，这项研究有多位参加过国际算法竞赛。例如，作者之一、纽约大学本科生 Zihan Zheng 曾代表学校参加 ICPC 世界总决赛。 LiveCodeBench Pro 收录了 5 ...