Accuracy scores and leaderboard metrics look impressive—but production-grade AI requires evals that reflect real-world performance, reliability, and user happiness. Traditional benchmarks rarely help you understand how your LLM will perform when embedded in complex workflows or agentic systems. How can you realistically and adequately measure reasoning quality, agent consistency, MCP integration, and user-focused outcomes? In this practical, example-driven talk, we'll go beyond standard benchmarks and dive ...

Z Highlights 姚顺 雨 是斯坦福大学自然语言处理研究员， OpenAI 员工 ，专注于强化学习与语言模型融合研究。本文译自姚顺 雨 于 2025 年 4 月 10 日发布的英文博客 《 The Second Half 》，内容整合了他在斯坦福课程 CS224N 及哥伦比亚大学前沿论坛的核心演讲观点。 我们正处于AI的中场阶段。几十年来，AI的核心一直是开发新的训练方法和模型。这条路奏效了：从在国际象棋和围棋上击败世界冠军，到在SAT和律师 资格考试中超越大多数人类，甚至赢得IMO和IOI金牌。 这些载入史册的里程碑——DeepBlue、AlphaGo、GPT-4，以及o系列模型——背后是AI方法的根 本性创新：搜索、深度强化学习、模型规模化，以及推理。 一切都在不断变得更好。 那现在究竟发生了什么变化？用三个词概括：强化学习终于奏效了。更准确地说：强化学习终于具备了泛化能力。经历了多次重大的绕行与一系列里程碑 之后，我们终于找到了一个通用的有效配方，能够利用语言和推理解决各种各样的强化学习任务。哪怕是在一年前，如果你告诉大多数AI研究人员，一个 统一的方法可以同时解决软件工程、创意写作、IMO级别 ...