KDD 2025 Best Paper Runner-Up | EI-BERT：超紧凑语言模型压缩框架

本文第一作者王茂林，为香港城市大学博士生，导师为赵翔宇教授。合作者包括蚂蚁集团储俊，臧晓玲，赵耀，谢锶聪和钟文亮。该论文荣获 2025 年 KDD ADS Track Best Paper Award Runner-Up。 研究背景与动机 在移动计算时代，将高效的自然语言处理模型部署到资源受限的边缘设备上面临巨大挑战。这些场景通常要求严格的隐私合规、实时响应能力和多任务处理功 能。 现有的 BERT 模型压缩技术仅能实现 15-20MB 的压缩，远不能满足 移动设备 4MB 的严格内存限制 。特别是在金融应用场景中，本地 AI 处理对保护用户隐私至 关重要，同时还需确保 约 300 毫 秒的实时 响应 。这种差距凸显了对极致压缩框架的迫切需求。 方法：多阶段的极值压缩框架 EI-BERT 框架通过三个关键步骤实现极致压缩： 硬令牌剪枝 智能筛选重要词汇，大幅减少存储需求； 交叉蒸馏 确保高效知识传递，突破传统方法局限； 模 块 化 量化 采用 INT8 量化进一步优化存储。 其中，交叉蒸馏方法创新性地让 教师模 型 "站 在学生模型的角度" ，通过参数集成和师生互动的动态适应机制，实现精准的知识转移。该方法有 ...