Pos2Distill团队 投稿 量子位 | 公众号 QbitAI 语言模型遭遇严重的位置偏见，即模型对不同上下⽂位置的敏感度不⼀致。模型倾向于过度关注输⼊序列中的特定位置，严重制约了它们在复 杂推理、⻓⽂本理解以及模型评估等关键任务上的表现。 例如，在对⽐两个候选答案时，模型常因偏好⾸个选项⽽损害其作为评估器的公正性与可靠性。 针对这⼀挑战，论⽂提出了 Pos2Distill，⼀个创新的"位置到位置"蒸馏框架。该框架旨在将模型在优势位置的强⼤能⼒迁移⾄劣势位置，从 ⽽有效缓解位置偏⻅。 其核⼼思想恰如古语所云："解铃还须系铃⼈"，利⽤模型⾃⾝已习得的知识，来纠正其⾃⾝的系统性偏差。 一类工作 试图通过修改与上下⽂敏感度不均相关的关键架构组件或内部表示来进⾏减轻位置偏见。然⽽，尽管近期在缩⼩性能差距⽅⾯取得 了⼀些进展，模型在"优势位置"和"劣势位置"之间的信息利⽤率依然存在巨⼤差异。 其基本原理可以概括为：利⽤位置本⾝造成的性能不均衡，来对抗位置偏差这⼀问题。 团队发现，位置偏差在"检索"和"推理"这两类任务中诱发的表现不同，因此基于上述核⼼原理，团队分别设计了两种专⻔的实现⽅案： Pos2Distill- ...