MM-RLHF团队 投稿 量子位 | 公众号 QbitAI 尽管多模态大语言模型（MLLMs）取得了显著的进展，但现有的先进模型仍然缺乏与人类偏好的充分对齐。这一差距的存在主要是因为现有 的对齐研究多集中于某些特定领域（例如减少幻觉问题），是否与人类偏好对齐可以全面提升MLLM的各种能力仍是一个未知数。 快手，中科院，南大合作从三个层面入手推动MLLM alignment的发展，包括数据集，奖励模型以及训练算法，最终的alignment pipeline使 得不同基础模型在10个评估维度，27个benchmark上都取得了一致的性能增益，比较突出的是，基于本文提出的数据集和对齐算法对LLaVA- ov-7B模型进行微调后， conversational能力平均提升了19.5%，安全性平均提升了60%。 偏好数据，训练算法，模型以及评估pipeline均已全面开源。 该方法在twitter上也引起了热议，被评为 多模态alignment的game-changers 。 主要贡献： MM-RLHF人类偏好数据 1. 新数据集： 本文引入了一个包含 120k 精细标注的偏好比较对的数据集，包含三个维度的打分，排序， ...