大模型数据价值验证
Search documents
告别“炼丹玄学”:上海AI实验室推出首个大模型数据竞技场OpenDataArena
量子位· 2025-08-24 04:38
OpenDataLab团队 投稿 量子位 | 公众号 QbitAI 数据在AI时代的重要性已经不言而喻,但悬而未决的是—— 如何精确量化这些数据的价值、辨别其优劣? 为此,上海人工智能实验室OpenDataLab团队在数据领域持续深耕,正式推出了 开放数据竞技场OpenDataArena 。 展开来说,在海量的SFT (监督式微调) 后训练数据面前,研究者们常常陷入"黑盒式"的困境: 不清楚哪些数据真正有用,也难以系统性地 评估和比较不同的数据集。 而OpenDataArena,正是一个为数据价值而生的"竞技场",致力于将数据质量的评估从"玄学"变为"科学"。 团队希望通过一个 公平、公开、透明 的平台,首次正式尝试回答"如何验证数据价值"这一核心问题。 它不仅提供了一个直观的 数据评测榜单 ,更构建了一套完整可复现的数据价值验证体系—— 通过一套 训评一体化的开源工具 ,让不同数据集在同等条件下公平"竞技",用模型效果作为衡量数据价值的最终标准。 同时,通过开发 多维度评分工具 ,对数据进行精细化"体检",让数据价值不再是模糊的"黑盒"。 平台目前已覆盖4+领域、20+基准测试、20+数据评分维度,处理了1 ...