机器之心报道 机器之心编辑部 基准测试是检验大模型能力的一种方式，一般而言，一个有用的基准既要足够难，又要贴近现实：问题既能挑战前沿模型，又要反映真实世界的使用场景。 然而，现有测试面临着「难度–真实性」的矛盾：侧重于考试的基准往往被人为设置得很难，但实际价值有限；而基于真实用户交互的基准又往往偏向于简单的高 频问题。 在此背景下，来自斯坦福大学、华盛顿大学等机构的研究者探索了一种截然不同的方式：在未解决的问题上评估模型的能力。 与一次性打分的静态基准不同，该研究不断收集未解决的问题，然后通过验证器辅助筛选与社区验证机制，实现对模型的持续异步评估。 具体而言，本文提出了 UQ（Unsolved Questions），这是一个由 500 道题组成的测试集，涵盖计算机理论、数学、科幻、历史等主题，用于考察模型在推理、事实 准确性以及浏览等方面的能力。UQ 在设计上兼具难度大与贴近真实两大特点：这些问题大多是人类遇到但尚未解决的难题，因此攻克它们可直接产生现实价值。 数据集介绍 UQ 数据集由 500 道具有挑战性的未解决问题组成，问题来源问答社区 Stack Exchange，并且是经过三轮筛选得到的。 在筛选流 ...