Workflow
3DGS
icon
Search documents
ArtGS:3DGS实现关节目标精准操控,仿真/实物双验证性能SOTA!
具身智能之心· 2025-07-04 09:48
扫描下方 卡片 ,关注" 具身智能 之心 "知识星球 本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要 的。 一、研究背景与出发点 关节目标操作是机器人领域的关键挑战,核心难点在于复杂的运动学约束和现有方法有限的物理推理能 力。传统方法中,端到端强化学习或模仿学习需要大量试错或演示数据,却常因缺乏物理知识(尤其是关 节运动学)导致动作违反约束,最终失败;而3D视觉方法(如GAMMA、RPMArt)虽能构建关节模型,但 点云固有的稀疏性和无序性,以及时间一致性不足,仍带来诸多挑战。 为此,提出ArtGS框架——通过扩展3D高斯溅射(3DGS),整合视觉-物理建模,实现关节目标的理解与交 互。其核心是利用动态、可微分的3DGS渲染,优化关节骨骼参数,保证物理一致性运动约束,提升操作策 略性能。 | cost; | -sint;cosß; | sinθ;sinß; | a;cosθ; | | --- | --- | --- | --- | | sinθ; | cost;cosB ...
肝了几个月,新的端到端闭环仿真系统终于用上了。
自动驾驶之心· 2025-07-03 12:41
点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 随着神经场景表征的发展,之前出现了一些方法尝试用神经辐射场重建街道场景,像Block-NeRF 。但是它无法处理街道上的动态车辆,而这是自动驾驶环境仿真 中的关键要素。最近一些方法提出将动态驾驶场景表示为由前景移动汽车和静态背景组成的组合神经表示。为了处理动态移动的目标车辆,这些方法利用跟踪的 车辆姿态来建立观察空间和规范空间之间的映射,在那里他们使用 NeRF 网络来模拟汽车的几何形状和外观。虽然这些方法产生了合理的结果,但它们仍然局限 于高训练成本和低渲染速度。基于这些前述工作,浙大提出了S treet Gaussians。笔者有幸参与了公司新一代闭环仿真系统的开发,花了几个月的时间,终于把基 于Street Gaussians的算法落地。今天就分享下自己的一些看法~ 下图是在Waymo数据集上的渲染结果。street gaussians的方法在训练半小时内以 135 FPS的速度产生高质量的分辨率为1066×1600渲染视角。这两个基于NeRF的方 法存在训练和渲染成本高的问题。 以前的方法通常面临训练 ...