赵天辰，清华大学电子工程系高能效计算实验室研究生，研究方向主要是：面向视觉生成的高效算法，与软硬件协同设计。以下工作为赵天辰在字节跳动-Seed视 觉部门实习期间完成 近年来，随着视觉生成模型的发展，视觉生成任务的输入序列长度逐渐增长（高分辨率生成，视频多帧生成，可达到 10K-100K）。与输入序列长度呈平方复杂度 的 Attention 操作，成为主要的性能瓶颈（可占据全模型的 60-80% 的开销），有明显的效率优化需求。注意力的稀疏化（Sparse Attention）与低比特量化 （Attention Quantization）为常用的 Attention 优化技巧，在许多现有应用中取得优秀的效果。然而，这些方法在视觉生成模型中，在低稠密度（<50%）与低比特 （纯 INT8/INT4）时面临着显著的性能损失，具有优化的需求。 本文围绕着视觉任务的 "局部性"（Locality）特点，首先提出了系统的分析框架，识别出了视觉生成任务 Attention 优化的关键挑战在于 "多样且分散" 的注意力模 式，并且进一步探索了该模式的产生原因，并揭示了多样且分散的注意力模式，可以被统一为代表 "局部聚合" ...