全模态RAG突破文本局限，港大构建跨模态一体化系统

RAG-Anything团队 投稿 量子位 | 公众号 QbitAI 突破传统检索增强生成（RAG）技术的单一文本局限，实现对文档中文字、图表、表格、公式等复杂内容的统一智能理解。 香港大学黄超教授团队开源多模态智能处理系统RAG-Anything，将碎片化的信息孤岛转化为结构化的知识网络，为智能多模态文档分析开辟 了全新技术路径。 人工智能正在从只会处理文字发展到能够理解多种信息形式，这种变化其实很符合日常工作的实际情况。人们平时接触的信息很少是纯文字 的，更多的是包含图片、表格、图表的综合性文档。这些不同类型的内容——文字说明、图像展示、数据分析、逻辑推理等——相互配合，形 成了一个完整的信息体系。 在各个专业领域里，多模态内容早就成为主流的信息传递方式。学术论文需要用图表和公式来展示研究成果，教学材料用图解让概念更好理 解，财务报告靠各种图表来展现数据变化，医疗记录则包含大量的影像和检测数据。这些视觉化的内容和文字说明互相补充，构成了完整的专 业知识框架。 面对如此复杂的信息形态，传统的单一文本处理方式已无法满足现实各类场景的需求。各行业都迫切需要AI系统具备跨模态的综合理解能力， 能够同时解析文字叙述 ...