DeepSeek悄悄开源LPLB：用线性规划解决MoE负载不均

机器之心报道 编辑：Panda 没有发推文，也没有公众号更新，少有的几个技术博主分享的推文也关注不多。截至目前，该项目的 star 数量也还没超过 200。 但仔细一看，这个项目却似乎并不简单，值得更多关注。X 网友 gm8xx8 评论认为这表明 DeepSeek 正在解决正确性和吞吐量瓶颈问题，为下一版模型发布做准 备。 昨天，DeepSeek 在 GitHub 上线了一个新的代码库： LPLB 。 项目地址：https://github.com/deepseek-ai/LPLB 项目简介 LPLB，全称 Linear-Programm i ng-Based Load Balancer ，即基于线性规划的负载均衡器。 顾名思义，LPLB 是一个并行负载均衡器，它利用线性规划（Linear Programming）算法来优化 MoE（混合专家）模型中的专家并行工作负载分配。 具体来说，LPLB 通过以下三个步骤实现动态负载均衡： 3. 求解最优分配 ： 针对每个批次（Batch）的数据，求解最优的 Token 分配方案。 1. 动态重排序 ： 基于工作负载统计信息对专家进行重排序（Reordering）。 2 ...