AI云原生

Search documents
豆包概念震荡拉升 润欣科技涨超15%
news flash· 2025-06-09 02:42
豆包概念盘中震荡 拉升, 润欣科技涨超15%, 光云科技、 海天瑞声、 引力传媒、 汉仪股份等多股涨 逾5%。消息面上,2025火山引擎原动力大会·春于6月11日-12日举行,本次大会聚焦大模型与 AI云原生 等前沿领域。包括Agent开发、 多模态理解、深度思考、AI云原生等多个话题。 ...
传统云还在「卖铁」,下一代云已在「炼钢」:火山引擎xLLM如何一张卡榨出两张的性能!
机器之心· 2025-05-27 04:11
机器之心报道 编辑:Panda 大模型越来越聪明,企业却似乎越来越焦虑了。 模型性能突飞猛进,从写文案到搭智能体(Agent),AI 掌握的技能也越来越多。但一到真正上线部署,问题就来了:为什么推理成本越来越 高?算力投入越来越多?效果却不成正比? 现如今,推理大模型已经具备服务复杂业务场景的实力。但是,要想让它们在工作时有足够快的速度,企业往往不得不大力堆卡(GPU),从 而满足 T PO T (平均输出一个 Token 的时间)和 TPS (每秒 Token 数)等指标。也就是说,在迈过了模型性能的门槛之后,企业却发现大模 型落地还有另一个高耸的门槛: 推理效率 。 为了响应这一需求,云厂商不约而同地把目光投向了「卖铁」,也就是上更多、更新但也更贵的卡。但它们的客户面临的问题真的是「卡不够 多不够强」吗? 火山引擎给出的答案是:不是卡不够多,也不是卡不够强,而是没「炼」好。 这家已经高举「 AI 云原生 」旗帜的云服务平台已经在「炼钢」这个方向上走出了自己的道路,其推出的 xLLM 大语言模型推理框架具有堪称 极致的性能,能低时延、高吞吐地支持大规模部署: 用同样的 GPU 卡,计算成本仅为开源框架的二分 ...