RL加持的3D生成时代来了!首个「R1 式」文本到3D推理大模型AR3D-R1登场
机器之心·2025-12-22 08:17
强化学习(RL)在大语言模型和 2D 图像生成中大获成功后,首次被系统性拓展到文本到 3D 生成领域!面对 3D 物体更高的空间复杂性、全局几何一致 性和局部纹理精细化的双重挑战,研究者们首次系统研究了 RL 在 3D 自回归生成中的应用! 强化学习应用于 3D 生成的挑战 来自上海人工智能实验室、西北工业大学、香港中文大学、北京大学、香港科技大学等机构的研究者提出了 AR3D-R1 ,这是首个强化学习增强的文本到 3D 自回归模型。该工作系统研究了奖励设计、RL 算法和评估基准,并提出 Hi-GRPO ——一种层次化强化学习范式,通过分离全局结构推理与局部纹理 精修来优化 3D 生成。同时引入全新基准 MME-3DR ,用于评估 3D 生成模型的隐式推理能力。 实验表明 AR3D-R1 在 Kernel Distance 和 CLIP Score 上均取得显著提升,达到 0.156 和 29.3 的优异成绩。 论文标题:Are We Ready for RL in Text-to-3D Generation? A Progressive Investigation 代码链接: https://github. ...