Workflow
CVPR 2025 | 解决XR算力瓶颈,FovealSeg框架实现毫秒级IOI分割
机器之心·2025-06-02 05:22

本文共同第一作者为纽约大学研究生 Hongyi Zeng 和Wenxuan Liu。合作作者为 Tianhua Xia、Jinhui Chen、Ziyun Li。通讯作者为纽约大学电子工程系和计算 机系教授 Sai Qian Zhang,研究方向为高效人工智能,硬件加速和增强现实。 在 XR 正逐步从概念走向落地的今天,如何实现 "按用户所视,智能计算" 的精准理解,一直是视觉计算领域的核心挑战之一。 最近,一项来自 纽约大学和 Meta Reality Labs 的联合研究引发了行业关注:Foveated Instance Segmentation —— 一种结合眼动追踪信息进行实例分割的新方法, 已被 CVPR 2025 正式接收 。 论文连接:https://arxiv.org/pdf/2503.21854 1. 从算力瓶颈谈起 在当下主流的 AR / VR 头显中,内置相机往往具备 720 P、1080 P 乃至 1440 P 的拍摄能力,但要想在如此高分辨率的画面上做实例分割,推理延迟常常飙升至数 百毫秒甚至秒级,远超人眼在交互中对时延(50–100 ms)所能接受的舒适阈值。论文 Foveated ...