但随着语言模型能力的不断提升，用户对它们的期待也在发生变化：不仅要回答正确，还要在各种不同场景下表现出符合多样化人类偏好的行为。为此， 强化学 习训练流程开始引入多种奖励信号 ，每一种奖励对应一种不同的偏好，用来共同引导模型走向理想的行为模式。 但英伟达的一篇新论文却指出，在进行多奖励优化时，GRPO 可能不是最佳选择。 具体来说，在多奖励优化场景中，GRPO 会将不同的奖励组合归一化为相同的优势值。这会削弱训练信号，降低奖励水平。 为了解决这一问题，他们提出了一种新的策略优化方法 —— 组奖励解耦归一化策略优化（ GDPO ）。该方法通过对各个奖励信号分别进行归一化，避免了不同奖 励之间被混合「抹平」，从而更真实地保留它们的相对差异，使多奖励优化更加准确，同时显著提升了训练过程的稳定性。 机器之心编辑部 GRPO 是促使 DeepSeek-R1 成功的基础技术之一。最近一两年，GRPO 及其变体因其高效性和简洁性，已成为业内广泛采用的强化学习算法。 论文标题：GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-re ...