ICML25 | 让耳朵「看见」方向！仅依靠360°全景视频，就能生成3D空间音频

然而，现有的技术大多基于固定的视角视频，缺乏对360°全景视频中空间信息的充分利用。 OmniAudio团队 投稿 量子位 | 公众号 QbitAI 空间音频，作为一种能够模拟真实听觉环境的技术，正逐渐成为提升沉浸式体验的关键。 在这样的背景下，一项在空间音频生成领域具有里程碑意义的研究应运而生—— OmniAudio ：它能够直接从360°视频生成空间音频，为虚 拟现实和沉浸式娱乐带来了全新的可能性。 相关代码和数据集已开源： https://github.com/liuhuadai/OmniAudio 为何需要从360°视频生成空间音频？ 传统的视频到音频生成技术主要关注于生成非空间音频，比如手机外放或者耳机里的声音，这些音频缺乏方向信息，无法满足沉浸式体验对 3D声音定位的需求。 所以看VR电影或者玩动作游戏的时候，总会觉得少了些代入感。 随着360°摄像头的普及和虚拟现实技术的发展，如何利用全景视频生成与之匹配的空间音频，就成为了一个亟待解决的问题。 为应对这些挑战，OmniAudio的研究团队提出了 360V2SA （360-degree Video to Spatial Audio）任务，旨在直接 ...