不用千亿参数也能合成高质量数据！这个开源框架让小模型“组团逆袭”，7B性能直追72B

GRA团队 投稿 量子位 | 公众号 QbitAI 无需蒸馏任何大规模语言模型，小模型也能自给自足、联合提升？ 上海人工智能实验室联合中国人民大学提出的 GRA框架 （Generator–Reviewer–Adjudicator） 正是这样一种新范式： 该方法以"多人协作"、"角色分工"的理念为核心，系统性探索了多开源小模型如何通过协同机制生成高质量训练数据。 实验结果显示，在涵盖数学、代码、逻辑推理、通识问答等10个主流数据集上，GRA生成的数据质量与单个大型语言模型（如Qwen-2.5- 72B-Instruct）输出相当或更高，并在多数任务中取得了显著领先。 如果说传统方法是单枪匹马生成数据，那GRA更像是一次"模拟顶会审稿流程"——作者、审稿人、AC各就各位，小模型分工合作、打分评 审，确保数据内容质量稳定、标准统一。 1.Generator：像"作者"一样创作新样本 GRA会先将任务划分为多个领域（如数学、编程、逻辑推理等），每个Generator小模型负责在对应领域生成新指令与响应。它们从种子数据 中提取关键词与摘要，结合领域知识生成高质量样本，确保内容丰富、主题聚焦、语义清晰。 2.Review ...