Workflow
3DGRUT
icon
Search documents
仿真专场!一文尽览神经渲染(NERF/3DGS)技术在具身仿真框架Isaac Sim中的实现
具身智能之心· 2025-09-28 01:05
点击下方 卡片 ,关注" 具身智能 之心 "公众号 编辑丨具身智能之心,作者:张峻川 本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要的。 一、写在前面&背景 神经渲染(NERF/3DGS)引发了三维重建技术的革命,目前已经在辅助驾驶/具身智能领域得到大量应用。NERF和3DGS使用神经网络表达空间,其在新视角合成 方面的优越表现直击辅助驾驶/具身智能仿真的一大痛点:传感器仿真。如果这一类深度学习技术能够推广应用,就能够很大程度上解决传统计算机图形学渲染出的 图像缺乏真实性的问题,可以广泛应用在算法的闭环测试和训练中。 目前已经有一些研究项目在围绕NERF和3DGS技术打造全新的面向闭环测试的仿真框架。然而完全新开发一个仿真框架,使其具有现行场景仿真软件类似的功能将 会有巨大的工作量。因此另一个应用神经渲染新技术的思路是:将NERF和3DGS训练出的模型嵌入到现有仿真软件的框架中去,在保证实时渲染的前提下,同时能 够应用仿真软件已有的3D数字资产和算法接口等工具链。 在N ...