Our next speaker stands at the frontier of artificial intelligence and human collaboration. As a senior product manager at Microsoft, Drew Doshi co-authored the new future of world 2024 and holds over a dozen US patents in privacy preserving data innovation. His work asks us to think about our relationship with the machines that are learning from and with us.He's an engineer, an inventor, and a futurist all in one. And today, he'll challenge us to see AI not as a threat, but as a partner worth making. Pleas ...

Large Language Models Evolution - Scaling laws 表明，增加计算量、数据和参数可以提高 Transformer 模型的性能，并推广到其他领域 [2][3] - 随着模型规模的扩大，性能持续提高，并在中等数学难题的解决率上有所体现，尤其是在提示模型展示思维链时 [5][7] - 通过强化学习和人类反馈，模型能够更好地遵循指令，从而实现聊天机器人等应用 [10][11] Inference Time Optimization - 通过生成多个响应并进行多数投票（自洽性），可以在推理时提高性能 [15] - 顺序修改之前的响应，特别是在可以验证答案的领域（如数学和编程），可以显著提高性能 [16][17] - 在可以验证答案的领域，推理时间计算的扩展可以转化为智能 [19] Reinforcement Learning for Autonomous Coding - 强化学习是下一个扩展前沿，特别是在可以自动验证输出的领域 [24] - 经验时代将通过强化学习构建超级智能系统，尤其是在具有自动验证的领域 [25] - 自动编码是一个扩展强化学习的绝佳领域，因为它具有验证输出的能力 [30][31] Challenges in Scaling Reinforcement Learning - 扩展强化学习比扩展 LLM 更具挑战性，因为它需要多个模型副本以及训练和推理循环 [29] - 在强化学习中，奖励模型的奖励函数设计是一个挑战 [29][30] Reflection's Mission - Reflection 致力于构建超级智能，并以自主编码作为根本问题 [33] - Reflection 团队由在 LLM 和强化学习领域有开创性工作的 35 位先驱组成 [33]