快手可灵团队提出MIDAS：压缩比64倍、延迟低于500ms，多模态互动数字人框架实现交互生成新突破

数字人视频生成技术正迅速成为增强人机交互体验的核心手段之一。然而，现有方法在实现低延迟、多模态控制与长时序一致性方面仍存在显著挑战。大多数系 统要么计算开销巨大，无法实时响应，要么只能处理单一模态输入，缺乏真正的交互能力。 为了解决这些问题， 快手可灵团队（ Kling Team） 提出了一种名为 MIDAS（Multimodal Interactive Digital-human Synthesis）的新型框架，通过自回归视频生成结 合轻量化扩散去噪头，实现了多模态条件下实时、流畅的数字人视频合成。该系统具备三大核心优势： 该项研究已被广泛实验验证，在多语言对话、歌唱合成甚至交互式世界建模等任务中表现出色，为数字人实时交互提供了全新解决方案。 | Ming Chen1* | Liyuan Cui1,2* | Wenyuan Zhang1,3* | Haoxian Zhang1 | | --- | --- | --- | --- | | Yan Zhou1 | Xiaohan Li1 | Songlin Tang- | Jiwen Liu1 | | Borui Liao1 | Hejia Chen1 | Xi ...