不调参、不费力，上海交大&上海AI Lab推出“记忆解码器”，任意LLM无缝自适应

当前，大语言模型（LLM）在医疗、金融、法律等专业领域，常因缺乏深度知识而表现较差，如何让 LLM 在不同特定领域中发挥最佳性能，仍是一大挑 战。 现有主流方案包括领域自适应预训练（DAPT）和检索增强生成（RAG）。然而，DAPT 需要进行耗时的全参数训练，且易产生灾难性遗忘，难以让多个 模型在同一领域中高效适配；而 RAG 也因昂贵的 kNN 搜索和更长的上下文，推理延迟大大增加。 而且，由于 RAG 的即插即用特性与 DAPT 的推理效率之间存在固有矛盾，开发既能跨模型适应，又能在部署时保持计算效率的解决方案，仍为空白。 为此，来自上海交通大学和上海AI Lab 的研究团队提出了一个"即插即用"的预训练记忆模块——"记忆解码器"（Memory Decoder），无需修改原模型参 数，即可适配不同尺寸模型，实现 LLM 的高效领域适应。 论文链接：https://arxiv.org/abs/2508.09874v1 Memory Decoder 的核心创新在于其"即插即用"的特性。经过训练后，单个 Memory Decoder 可无缝集成到任何使用相同 tokenizer 的 LLM 中，而无需进 行模型 ...