AI也邪修！Qwen3改Bug测试直接搜GitHub，太拟人了

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 大模型也会玩信息差了。 Qwen3在基准测试中居然学会了钻空子。 FAIR研究员发现Qwen3在SWE-Bench Verified测试中，不按常理修bug，反而玩起了信息检索大法。 不分析代码逻辑，不定位漏洞根源，而是直接跑到GitHub上搜任务里的issue编号，精准扒出了前人留下的修复方案。 能说吗，会搜代码才是真正的程序员行为吧。而Qwen3，你是真正的程序员。 Qwen3是如何钻空子的 要知道，SWE-Bench Verified本来是检验模型真刀真枪修代码的基准，相当于编程届的资格考试。 它的测试逻辑是这样的：在代码修复类任务中，它给模型的任务全是真实开源项目里的bug，比如修复某个功能异常、补全缺失的代码模块， 核心要求是模型能读懂现有的代码、定位到问题在哪，最后生成能够直接运行的解决方案。 这原本考验的是模型从0到1解决问题的能力，但我们的Qwen3，可没按这个剧本走。 FAIR研究团队追踪它的操作轨迹发现，Qwen3拿到任务后，第一步不是分析代码文件，而是调用工具检索GitHub的提交日志。 具体操作是： git log是查看Git版本控 ...