VinciCoder：多模态统一代码生成框架和视觉反馈强化学习，数据代码模型权重已开源

长期以来，多模态代码生成（Multimodal Code Generation）的训练严重依赖于特定任务的监督微调（SFT）。尽管这种范式在 Chart-to-code 等单一任务上取得了显 著成功 ，但其 "狭隘的训练范围" 从根本上限制了模型的泛化能力，阻碍了通用视觉代码智能（Generalized VIsioN Code Intelligence）的发展 。同时，「SFT- only」的范式在确保代码可执行性和高视觉保真度方面存在显著瓶颈 。 在此背景下， 中科院 & 美团研究团队推出了 VinciCoder ，一个旨在打破 SFT 瓶颈的统一多模态代码生成模型。VinciCoder 首次将强化学习的奖励机制从文本域 转向视觉域 ，提出 视觉 强化学习 （ViRL） ，专攻 SFT 无法解决的视觉保真度难题。 本文提出的系统性框架 VinciCoder ，通过 "大规模 SFT + 粗细粒度 ViRL" 的两阶段策略，有效统一了从图表、网页、SVG 到科学绘图（LaTeX、化学分子）等多 样化代码生成任务 。 论文标题：VinciCoder: Unifying Multimodal Code Gener ...