采访嘉宾｜尹良升，SGLang 核心开发者 编辑｜罗燕珊 2025 年 5 月， SGLang 提出了第一个完全开源的 DeepSeek 大规模专家并行部署方案，该方 案也是目前开源实现中唯一能够复现官方博客所述推理性能和成本的方案。 近日，InfoQ 专访了 SGLang 核心开发者尹良升 ，他分享了该项目背后的关键技术、工程挑战 与社区生态，以及如何在大模型推理中实现性能与成本的平衡。从 PD 分离架构带来的尾延迟控 制，到推测解码提升 Token 生成速度，再到 KV 缓存落盘在多轮对话中的显存优化——这些关键 能力使 SGLang 成为支持低成本、大规模模型部署的高性能推理引擎。 尹良升，现就读于上海交通大学 ACM 班，即将前往加州大学伯克利分校 Sky Computing 攻读计 算机博士学位。他是 SGLang 最早期的几位核心开发者之一，深度参与了 SGLang 的研发和优 化。 6 月 27～28 日，在即将于北京举办的 AICon 全球人工智能开发与应用大会上，尹良升将发表演 讲《SGLang 推理引擎——高效的开源部署方案》，将深入解析前沿大模型推理关键技术，并探 讨其在实际应用中的优化 ...

HUAWEI X HUXIU 没有人不在期待大模型能够成为下一个电动车，作为代表中国的新兴产业，在世界范围内掀 起狂澜。 然而主流的MoE架构大模型，却苦于其结构上的"先天不足"：巨大的硬件成本与多重拖累效 率的环节，使得中国企业在这场芯片堆砌与效率挖掘的苦径上难以提速。 作为智能基础设施提供商，华为在这场战役中另辟蹊径，利用其在数学算法和工程领域的深 厚积累，为DeepSeek显著提升了效率及用户体验。 山就在那里，但中国企业找到了不一样的登顶之路。 近期，虎嗅将打造《华为技术披露集》系列内容，全面揭秘超大规模MoE模型推理部署技 术，通过一连串的技术报告，首次全面披露技术细节。 希望本系列内容能为业界起到参考价值，也希望更多人能与华为一起，共同打造长期持续的 开放协作生态环境，让昇腾生态在中国茁壮成长。 《华为技术披露集》系列 VOL.4 ：通信优化 01 大模型的推理， 就只是算力吗？ 大语言模型(Large Language Models, LLMs) 自从其问世以来，便迅速成为全球科技领域乃至 整个社会的焦点。 根据Scaling law，大语言模型的能力与其参数量的对数正相关，因此大语言模型的参数 ...

来源丨APPSO（ID：appsolutio） 就在刚刚，OpenAI CEO Sam Altman 正式宣布，将在未来几个月内推出一款具备推理能力的强大开放权 重语言模型，并期待与开发者共同探索如何最大化其潜力。 据 Altman 透露，这是自 GPT-2 以来 OpenAI 首次计划发布开放权重语言模型。 他坦言，虽然这一想法已酝酿许久，但此前其他优先事项占据了主导地位。如今，发布这款模型的时机 变得尤为重要。 以下文章来源于APPSO ，作者发现明日产品的 APPSO . AI 第一新媒体，「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative AI 在正式发布前，OpenAI 将依据其「准备框架」对模型进行评估，确保其安全性与可靠性。 考虑到模型发布后可能被修改，团队还将开展额外测试与优化工作。 为进一步完善开发流程，OpenAI 计划举办一系列开发者活动，以收集反馈并展示早期原型。首场活动将 于数周后在旧金山启动，随后在欧洲和亚太地区陆续展开。 有兴趣参与的开发者可通过链接报名： https://openai.com/open-model-feedback 作为参考，开 ...

此 外 ， 一 体 机 解 决 方 案 还 集 成 了 智 能 算 力 池 化 技 术 ， 在 支 持 DeepSeek V3/R1 、 QWen2.5 、 LLama3.3等主流大模型的基础上，企业可灵活在满血版和多个蒸馏模型之间切换，GPU利用率提升 30%以上，推理性能平均提升5-10倍；同时内置大模型应用开发平台，并搭载了丰富的开箱即用AI 应用套件，帮助开发者高效开发企业级的生成式AI应用，让企业享受高效的大模型应用服务，加速AI 智能化落地进程。 具体来讲：SageOne IA大模型推理一体机解决方案，具备三大核心优势： 1） 智能算力池化，资源动态调度，突破物理机架构 大模型应用成本"一降再降"。 本文为IPO早知道原创 作者｜ Stone Jin 微信公众号｜ipozaozhidao 据IPO早知道消息，第四范式日前推出大模型推理一体机解决方案SageOne IA，进一步减低了大模 型推理成本。如满血版的DeepSeek V3/R1仅需要两台一体机即可使用。 方案支持企业按需选择DeepSeek V3/R1、QWen2.5、LLama3.3等主流大模型，还预装了丰富的 AI应用套件，包括AIG ...