单个LLM已不够？华盛顿大学开源多模型协同框架MoCo

在训练与开发单个通用大语言模型 (LLM) 之外，越来越多的研究开始关注 多模型协同 (model collaboration)：由不同群体、基于不同数据、以不同目的训练的多个 大语言模型，通过多样化的协同算法与系统架构，形成组合式人工智能系统。 多个模型可以通过路由算法而因材施用，通过生成文本相互沟通协作，或是在概率分布或模型参数空间做协同运算…… 各种各样的多模型协同研究共同揭示了一 种 AI 新未来的可能：由去中心化训练的多样化小模型通过协同算法构建模块化、组合式的 AI 系统，使得人人都能参与共建一种不为任何人单独所有的公共人工 智能系统。 为了支持多模型协同研究并加速这一未来愿景的实现，华盛顿大学 (University of Washington) 冯尚彬团队联合斯坦福大学、哈佛大学等研究人员提出 MoCo —— 一 个针对多模型协同研究的 Python 框架。MoCo 支持 26 种在不同层级实现多模型交互的算法，研究者可以灵活自定义数据集、模型以及硬件配置，比较不同算法， 优化自身算法，以此构建组合式人工智能系统。MoCo 为设计、评估与分享新的模型协同算法、组合式智能以及协同开发策略提供了重 ...