无需昂贵设备,单目方案生成超逼真3D头像,清华&IDEA新研究入选CVPR2025
量子位·2025-05-22 14:29
HRAvatar团队 投稿 量子位 | 公众号 QbitAI 创建3D头像化身对于电影、游戏、沉浸式会议、AR/VR等领域至关重要。在这些应用中,头像化身必须满足几个要求:可动画化、实时、高 质量和视觉上逼真。 然而,从易获取的单目视频中创建高度逼真且可动画化的头像仍然具较大的挑战性。尽管基于3D 高斯(3DGS)的方法在可动画性和实时渲 染方面取得进展,但其重建质量仍受三方面限制。 几何变形灵活性不足 :现有方法依赖通用参数模型(3DMM)驱动高斯点变形,难以准确捕捉个性化表情变化; 表情追踪不准确 :训练前通过2D关键点拟合获取表情参数不够准确,直接优化表情参数则泛化性差,需在测试时进行后优化; 在数字人、虚拟主播、AR/VR等场景快速发展背景下,如何高效生成真实、可动、可重光照的3D头像成为关键。 来自 清华 和 IDEA 的研究团队,联合开发了 HRAvatar (High-Quality and Relightable Gaussian Head Avatar),一种基于单目视频 的3D高斯头像重建方法。采用 可学习形变基和线性蒙皮技术 ,实现灵活且精确的几何变形,并通过精准的表情编码器减少追踪误差 ...