测试用例生成

Search documents
Codeforces难题不够刷?谢赛宁等造了个AI出题机,能生成原创编程题
机器之心· 2025-10-20 04:50
随着大型语言模型(LLM)朝着通用能力迈进,并以通用人工智能(AGI)为最终目标,测试其生成问题的能力也正变得越来越重要。尤其是在将 LLM 应用于高 级编程任务时,因为未来 LLM 编程能力的发展和经济整合将需要大量的验证工作。 首先, 为编程竞赛出 题需要 比解决问题更深刻的算法理解 。 例如,基础问题可能会被归结为可识别的模板,用简单的技巧就能解决;许多标准的编程问题也常常允许提交部分正确或样板化的解决方案,这可能会掩盖错误 的推理过程。而竞赛编程问题有着严格的标准,旨在评估对底层算法设计原则、数据结构和复杂性权衡的更深层次理解。验证数量庞大的可能解法,并充分覆盖 各种捷径或边界情况是极具挑战性的,但这对于竞赛编程问题而言是必需的。因此,出题不仅包含了解决问题的所有挑战,甚至还超越了它。 其次, 更好的出题能力将带来更严谨的竞赛编程基准测试 。由于像 Codeforces 和 AtCoder 这类顶级平台的官方测试数据并不公开,研究人员目前依赖于合成的数 据集,如 CodeContests+、TACO 和 HardTests。 然而,分析表明,现有的测试数据集可能同时存在高误报率(FPR)和高漏报率(F ...