个人开发者训400亿参数大模型：分布式算力，DeepSeek架构，3090单卡部署

以往类似规模的模型训练往往需要耗费大量的资源和时间，并且通常是由大型科技公司或专业研究机构凭借其雄厚的资金和算力优势来完成 的。 Psyche的出现让个人和小团体也可获取资源创建独特大规模模型。 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 打破科技巨头算力垄断 ，个人开发者联手也能训练超大规模AI模型？ Nous Research宣布推出 Psyche Network ，可以将全球算力整合起来训练强大的人工智能。 Psyche是一个基于 Deepseek的V3 MLA架构 的 去中心化训练网络 ，测试网首次启动时直接对 40B参数LLM 进行预训练，可以在 单个 H/DGX 上训练，并在3090 GPU上运行。 对此，有网友表示，Nous Research有潜力成为新的前沿AI实验室。 技术突破和网络架构 DisTrO优化器 在传统AI训练中，数据需在中心服务器与分布式GPU之间高频传输，带宽不足会导致GPU利用率暴跌。 2024年Nous研发的 DisTrO 分布式训练优化器，通过 梯度压缩（仅传输关键参数更新） 和 异步更新策略 ，将跨节点通信的数据量降低 90%以上， 突破了训练过程中的带宽限 ...