超越RAG和DAPT！华人团队新研究引热议：即插即用、无需改变原参即可让模型化身领域专家

一个小解码器让所有模型当上领域专家！华人团队新研究正在引起热议。 他们提出了一种比目前业界主流采用的DAPT（领域自适应预训练）和RAG（检索增强生成）更方便、且成本更低的方法。 一水 发自 凹非寺 量子位 | 公众号 QbitAI 翻译成大白话就是，Memory Decoder就像给大模型加了一个"领域知识插件"，既高效又灵活，为大模型适应特定领域提供了一种新方法。 划重点， 即插即用、无需改变原始模型参数、可以和任何共享相同分词器的大语言模型集成 。 对于这一新研究，有网友激动表示，这改变了游戏规则。 下面详细来看论文内容。 相比DAPT，不需要昂贵的全参数训练； 相比RAG，不依赖昂贵的检索。 而且实验结果显示，其方法能够显著提升Qwen和Llama等模型在三个专门领域 （生物医学、金融、法律） 的效果，并使困惑度平均降低 6.17分 （相当于预测下一个词的正确率提升了约20%~25%） 。 好好好，不卖关子了，原来这是来自上海交大、上海AI Lab等机构的研究人员提出的一个名为 "Memory Decoder" 的 预训练记忆模块 —— 通过使用一个小型的前置解码器（former decoder），能 ...