深度｜Gemini 3预训练负责人揭秘Gemini 3巨大飞跃的关键，行业正从“数据无限”向“数据有限”范式转变

图片来源： The MAD Podcast Z Highlights Sebastian Borgeaud 是 Google DeepMind 的 Gemini 3 预训练负责人，同时也是开创性论文 RETRO 的合著者，在 AI 前沿模型研发与系统构建领域具备深厚专业 积淀。 2025 年 12 月 18 日，他在首次播客访谈中揭秘了这款今年 AI 领域里程碑式前沿模型的研发逻辑，分享了模型背后并非单纯依赖算力提升的系统构建思 路。 Gemini 3的巨大提升是庞大团队通力协作、融合无数改进与创新的成果，其基于Transformer的混合专家架构， 核心是将计算量使用与参数规模分离开 来 。 规模是预训练中提升模型性能的重要因素，但并非唯一， 架构和数据创新的重要性如今可能更甚 ，且预训练领域在长上下文能力、注意力机制等方 面有诸多值得关注的发展方向。 行业正从 "数据无限"向"数据有限"范式转变 ，合成数据需谨慎使用，模型架构改进能助力模型用更少数据实现更好效果，同时评估在预训练中至关 重要且极具难度。 的朴素。所以我很好奇你的看法，从某种程度上来说，事情真的这么简单吗？ Sebastian Bourge ...