共同一作：洪翔宇，清华大学电子系大四本科生，曾获清华大学蒋南翔奖学金等，曾在NeurIPS，EMNLP，NAACL等顶级会议上发表论文。姜澈，清华大 学电子系博士三年级在读，主要研究方向为LLM Interpretebility，LLM Agent，曾在NeurIPS，ICML，EMNLP，NAACL等顶级会议上发表论文。 随着大型语言模型在各类任务中展现出卓越的生成与推理能力，如何将模型输出精确地追溯到其内部计算过程，已成为 AI 可解释性研究的重要方向。然 而，现有方法往往计算代价高昂、难以揭示中间层的信息流动；同时，不同层面的归因（如 token、模型组件或表示子空间）通常依赖各自独立的特定方 法，缺乏统一且高效的分析框架。 针对这一问题，来自清华、上海 AI Lab 的研究团队提出了全新的统一特征归因框架——DePass（Decomposed Forward Pass）。 该方法通过将前向传播中的每个隐藏状态分解为多个可加子状态，并在固定注意力权重与 MLP 激活的情况下对其逐层传播，实现了对 Transformer 内部 信息流的无损分解与精确归因。借助 DePass，研究者能够在输入 token、 ...