还在为AI数据发愁？张文涛和鄂维南院士团队推出Data-centric AI系统

近年来，大模型发展主要由大型科技公司主导，其领先的核心在于规模庞大且高质量的数据资源。然而，这些公司通常并不公开其原始数据及数据处理工具，使 得学术界在大模型训练数据的构建与优化方面难以追赶，受制甚深。 尽管近年来开源了大量数据集，学术界在大模型数据准备方面仍面临诸多挑战。目前，大模型训练数据的清洗与构建仍主要依赖各个研究团队 "闭门造车"，缺乏 系统化、高效的工具支持 。现有的数据处理工具如 Hadoop 和 Spark 等， 支持的操作算子大多偏向传统方法，尚未有效集成基于最新大语言模型（LLMs）的智能 算子，对于构建先进大模型的训练数据支持有限。 为此，张文涛和鄂维南院士团队提出了以数据为中心的 AI 系统 DataFlow 。它系统实现了 100 余个基于规则、本地大模型或大模型 API 的数据治理算子 （Operators），并在此基础上构建 8 条预设数据处理流水线（Pipeline），包括：大规模嘈杂数据（如 PDF 文档、纯文本、低质量问答数据、爬虫数据等）的清 洗、扩增与评估；带有思维链的强推理数据合成；RAG 数据提取与合成等等主流数据治理需求。该系统可供用户灵活组织现有算子，开发新算子 ...