Workflow
多模态控制
icon
Search documents
腾讯混元3D-Omni:3D版ControlNet突破多模态控制,实现高精度3D资产生成
机器之心· 2025-09-29 06:55
近年来,3D 原生生成模型在游戏、影视和设计领域的资产创建中展现出强大潜力。然而,大多数现有方法仍主要依赖图像作为条件输入,缺乏细粒度、多模态的 控制能力,限制了其在实际生产流程中的应用。 为解决这一瓶颈,腾讯混元团队推出了 混元 3D-Omni ,一个基于 Hunyuan3D 2.1 构建的统一多模态可控 3D 生成框架。该框架不仅支持图像作为输入,还可接受 点云、体素、边界框与骨骼姿态等多种控制信号,实现对生成物体几何结构、拓扑与姿态的精细控制。 一、背景与挑战 图 1 :混元 3D-Omni 可支持多种模态作为控制条件,实现精细化 3D 资产生成 混元 3D-Omni 是一个支持多种控制条件的 3D 资产创建系统。它通过两个关键性的创新来推动尖端 3D 生成技术的发展: 其一, 采用 轻 量化的统一控制编码器 ,实现多种控制条件的统一支持;其二, 引入渐进式难度感知训练策略 ,提升模型对多模态融合的鲁棒性。 作为 业界首个统一多种条件控制的 3D 生成模型 ,混元 3D-Omni 可融合多达四类控制条件,显著提升生成结果的可控性及质量。同时该系统将完整开放推理代码 以及权重,加速可控 3D 生成模型在学 ...