AI打假AI，拿下SOTA丨厦大&腾讯优图

AIGI-Holmes团队 投稿 量子位 | 公众号 QbitAI u1s1，AI生成图像已经肉眼难辨真假了。 能不能让AI来做检测，"魔法打败魔法"？ 厦门大学联合 腾讯优图实验室团队，就提出了这样一项研究，创新性提出"大模型+视觉专家"协同架构，让大 模型学会用检测器看图像、并描 述出检测到的问题。 具体方法是 AIGI-Holmes —— AI生成图像（AI-generated Image, AIGI）检测方法 ，由厦门大学多媒体可信感知与高效计算教育部重点 实验室和腾讯优图团队带来。 核心创新点如下： 双视觉编码器架构 ：在LLaVA基础上增加NPR视觉专家，同时处理高级语义和低级视觉特征。 Holmes Pipeline ：包含视觉专家预训练、SFT和DPO三阶段训练流程。 协同解码策略 ：推理时融合视觉专家与大语言模型的预测结果，提升检测精度。 泛化能力有限 ：快速迭代的AIGC技术持续挑战现有检测方法的泛化能力。在旧模型上训练的检测器通常难以应对新的AIGC方法；有些人类 一眼能够看出的生成图片，模型反而难以检测出来。 将多模态大语言模型（MLLM）应用在AIGC检测上可以有效帮助缓解上述问题， ...