昆仑万维正式发布SkyReels-A3模型

本报讯 （记者李乔宇） 8月11日，昆仑万维科技股份有限公司（以下简称"昆仑万维"）正式发布SkyReels-A3模型，基于"DiT（Diffusion Transformer）视频扩散模型+插帧模型进行视频延展+基于强化学习的动作优化+运镜可控"，其能实现任意时长的全模态音频驱 动数字人创作，让个性化、交互式内容的创作更高效与便捷。目前，SkyReels-A3模型已正式上线。 SkyReels-A3的性能通过广泛的实验进行了验证，包括现有最先进模型（开源和闭源）的定量和定性比较，充分展示了其 在音频驱动视频生成方面的能力。 （编辑 张明富） 同时，基于对实际应用场景（如广告、直播带货等）的分析，昆仑万维发现这些场景不仅需要更长的一致性视频，在特定 交互动作上的自然度和清晰度也有待加强。昆仑万维构造了针对线上直播等场景的数据，对此类场景中的视频生成进行了特定 优化。 此外，面对艺术美感要求更高的音乐MV、电影片段或演讲视频等场景，昆仑万维构造了一种基于ControlNet结构的镜头控 制模块，通过精细化镜头参数的输入，实现帧级别精准运镜控制。具体来说，镜头控制模块提取参考图的深度信息，配合相机 参数，渲染目标 ...