AI训练

Search documents
博通管理层会议:AI推理需求激增,甚至超过当前产能,并未反映在当前预期内
Hua Er Jie Jian Wen· 2025-07-10 08:46
博通最新管理层会议释放出清晰信号——AI推理需求不仅正在迅速放量,而且仍处于上升通道的早期,未来对市场规模和产能 配置的重估,可能带来利润的系统性上修。 据追风交易台,在摩根大通日前组织的一场投资者会议中,博通管理层透露,公司在AI推理领域正迎来超预期的需求增长,甚 至"超过当前产能",而这一趋势尚未被纳入此前对市场规模的预测,或为未来盈利带来上修空间。与此同时,非AI业务也开始 复苏,VMware持续放量,公司整体"多线开火"。 博通CEO Hock Tan与CFO Kirsten Spears表示,过去一年AI需求主要来自训练负载,尤其是"前沿模型"的训练。但最近两个月, 公司在AI推理方面的订单大幅上升。管理层指出,这波推理需求来自客户希望更快地变现其AI投资,"推理的市场容量,可能被 严重低估"。 AI推理需求超预期,有望推高市场规模预测上限 博通管理层表示,定制AI XPU芯片业务依然强劲,增长跑道清晰可见。过去9-12个月中,AI需求主要集中在前沿模型等训练工 作负载上。但在过去2个月里,随着客户努力将投资货币化,公司经历了推理需求的显著激增。管理层认为当前推理需求已超过 产能。 这一强劲的AI推 ...
RTX5090目前的市场行情
傅里叶的猫· 2025-06-08 12:28
自2025年1月NVIDIA RTX5090发布以来,大家就一直都很关注这个显卡,我们之前建了个5090的 群,一直到现在每天都是挺热闹。但在过去的几个月时间里,RTX5090也出现了一系列的问题,这 篇文章我们从售价、租金、算力、功耗、性能、发热和组网七个方面,结合实际案例与数据,深入 探讨RTX5090目前的市场行情,本文的数据参考自"小易AI袁亮"。 售价从高位回落 功耗 单卡租赁价格:约1万元/年。 整机配置价格:一台配备8张RTX5090的整机约为30万元。 RTX5090的功耗是其应用中的一大痛点。额定功耗:575W,峰值功耗:瞬间可高达900W,8卡整机 功耗:约6kW。 RTX5090发布时,市场对其寄予厚望,预期售价高达4万元以上。然而,仅4个月后,价格已跌至2万 元出头,部分电商平台(如京东)上的同德品牌RTX5090甚至低至2.3万元。价格快速下滑的原因主 要有以下几点: 首先,市场传言RTX5090存在芯片过热问题,影响了消费者信心。其次,早期关于多卡组网可能出 现"锁卡"或性能瓶颈的传闻,降低了企业采购意愿。此外,显卡厂商在发布初期大幅抬价,导致市 场需求不及预期。最后,上一代旗舰R ...
【马斯克:将于今年晚些时候上线Dojo 2】马斯克表示,Tesla Dojo AI训练计算机正在取得进展。我们将于今年晚些时候上线Dojo 2。一项新技术需要经历三次重大迭代才能走向卓越。Dojo 2已经很好了,但Dojo 3一定会更出色。
news flash· 2025-06-05 18:29
【马斯克:将于今年晚些时候上线Dojo 2】马斯克表示,Tesla Dojo AI训练计算机正在取得进展。我们 将于今年晚些时候上线Dojo 2。一项新技术需要经历三次重大迭代才能走向卓越。Dojo 2已经很好了, 但Dojo 3一定会更出色。 ...
昇腾+鲲鹏联手上大招!华为爆改MoE训练,吞吐再飙升20%,内存省70%
华尔街见闻· 2025-06-04 11:01
最近,华为在MoE训练系统方面,给出了MoE训练算子和内存优化新方案:三大核心算子全面 提速,系统吞吐再提20%,Selective R/S实现内存节省70%。 在通往更强大的 AI 路上, MoE 已成为科技巨头另一个首选路径。 只要 Scaling Law 没有失效,大模型的参数规模依旧不断扩大,由此 AI 智能水平才能不断攀升。 凭借独特的架构设计, MoE 正以前所未有的参数规模,成为突破大规模模型训练的算力瓶颈的关键 路径之一。 然而,如何将 MoE 潜力真正转化为高效的训练实践,一直是业界探索的难题。 此前,华为曾通过 Adaptive Pipe&EDPB 框架,实现了集群级高效分布式计算,让通信和计算能完 美并行,提高训练集群效率。 本次,华为通过昇腾与鲲鹏算力的深度协同,进一步实现了训练算子计算效率和内存利用率大幅提 升。 他们从单节点视角出发,深入到NPU和CPU内部,对算子计算、下发、训练内存使用等进行细粒 度拆解。 令人惊喜的是,结果显示, MOE 训练在之前的基础上,吞吐又提升了 20% ,内存占用降低了 70% 。 首先,硬件核心计算单元,如 Cube 利用率不足,存在冗余操作和可优 ...
芯片新贵,集体转向
半导体芯闻· 2025-05-12 10:08
如果您希望可以时常见面,欢迎标星收藏哦~ 在AI芯片这个波澜壮阔的竞技场上,一度被奉为"技术圣杯"的大规模训练,如今正悄然让位于更 低调、但更现实的推理市场。 Nvidia依然在训练芯片市场一骑绝尘,Cerebras则继续孤注一掷地打造超大规模计算平台。但其他 曾在训练芯片上争得面红耳赤的玩家——Graphcore、英特尔Gaudi、SambaNova等——正在悄悄 转向另一个战场:AI推理。 这一趋势,并非偶然。 AI训练作为一个重资本、重算力、重软件生态的产业,Nvidia的CUDA工具链、成熟的GPU生态 与广泛的框架兼容性,使其几乎掌握了训练芯片的全部话语权。而Cerebras虽然另辟蹊径,推出了 超大芯片的训练平台,但仍局限于科研机构和极少数商业化应用场景。 在这种格局下,新晋芯片企业在训练市场几乎没有生存空间。"训练芯片的市场不是大多数玩家的 竞技场",AI基础设施创业者坦言,"光是拿到一张大模型训练订单,就意味着你需要烧掉数千万 美元——而且你未必赢。" 规模并行结构适合处理这类不规则数据结构。 在应用领域,IPU在化学材料和医疗领域表现突出,曾被用于冠状病毒研究。2020年,微软的 Sujee ...
芯片新贵,集体转向
半导体行业观察· 2025-05-10 02:53
在这种格局下,新晋芯片企业在训练市场几乎没有生存空间。"训练芯片的市场不是大多数玩家 的竞技场",AI基础设施创业者坦言,"光是拿到一张大模型训练订单,就意味着你需要烧掉数千 万美元——而且你未必赢。" 如果您希望可以时常见面,欢迎标星收藏哦~ 在AI芯片这个波澜壮阔的竞技场上,一度被奉为"技术圣杯"的大规模训练,如今正悄然让位于更 低调、但更现实的推理市场。 Nvidia依然在训练芯片市场一骑绝尘,Cerebras则继续孤注一掷地打造超大规模计算平台。但其 他曾在训练芯片上争得面红耳赤的玩家——Graphcore、英特尔Gaudi、SambaNova等——正在 悄悄转向另一个战场:AI推理。 这一趋势,并非偶然。 AI训练作为一个重资本、重算力、重软件生态的产业,Nvidia的CUDA工具链、成熟的GPU生态 与广泛的框架兼容性,使其几乎掌握了训练芯片的全部话语权。而Cerebras虽然另辟蹊径,推出 了超大芯片的训练平台,但仍局限于科研机构和极少数商业化应用场景。 正因如此,那些曾在训练芯片上"正面硬刚"Nvidia的创业公司,开始寻求更容易进入、更能规模 化落地的应用路径。推理芯片,成为最佳选项。 Gr ...
速递|OpenAI首投机构再出手!Khosla1750万美元押注“轻量化AI”Fastino,AI训练平民化
Z Potentials· 2025-05-08 05:33
图片来源: Fastino 科技巨头常吹嘘需要庞大昂贵 GPU 集群的万亿参数 AI 模型,但 Fastino 正采取截然不同的策略 这家位于帕洛阿尔托初创公司称,他们发明了一种新型 AI 模型架构,专为小型化和特定任务设计。 其模型小到仅需总值不足 10 万美元的低端游戏显卡即可完成训练。 该方法正引发关注。 Fastino 透露,已获得由 Khosla Ventures 领投的 1750 万美元种子轮融资,该风 投机构正是 OpenAI 的首个风险投资人。 这使得该初创公司的总融资额接近 2500 万美元。去年 11 月,它曾由微软风投部门 M12 和 Insight Partners 领投,在一轮预种子融资中筹集了 700 万美元。 "我们的模型速度更快、准确性更高,训练成本仅为旗舰模型的一小部分,同时在特定任务上表现优 于它们," Fastino 的CEO兼联合创始人 Ash Lewis 表示。 Fastino 开发了一套小型模型,销售给企业客户。每个模型专注于公司可能需要的特定任务,如敏感 数据脱敏或企业文档摘要。 Fastino 尚未透露早期指标或用户情况,但表示其性能已令早期用户惊叹。例如, L ...
速递|OpenAI的图像生成或审查松绑,从“拒绝”到“中性语境”的平衡
Z Potentials· 2025-03-29 03:57
除了柔和的插画风格外, GPT-4o 原生图像生成器大幅提升了 ChatGPT 的功能,优化了图片编辑、文本渲染和空间表现能力。 图片来源: OpenAI 然而, OpenAI 本周最引人注目的变化之一涉及其内容审核政策,新政策允许 ChatGPT 在用户请求下生成描绘公众人物、仇恨符号及种族特征的图像。 本周, OpenAI 在 ChatGPT 中推出了一款新的图像生成器,因其能创作出吉卜力工作室风格的图像而迅速走红。 OpenAI 此前因争议性或危害性而拒绝此类提示。 但据 OpenAI 模型行为负责人 Joanne Jang 周四发布的博客文章称,公司现已"改进"了其处理方式。 "我们正从敏感领域的一刀切拒绝,转向更精准的策略,重点防止现实世界的伤害," Jang 表示,"目标是保持谦逊:承认我们未知的领域,并在学习过程 中随时调整立场。" 这些调整似乎是 OpenAI 更大计划的一部分,旨在有效"解除" ChatGPT 的审查限制。 OpenAI 在二月份宣布,它正在改变 AI 模型的训练方式,最终目标是让 ChatGPT 能够处理更多请求、提供多元观点,并减少该聊天机器人拒绝回应的主 题。 根据更新 ...
黄金时代即将结束,英伟达股价即将迎来大幅下跌
美股研究社· 2025-03-26 12:45
作 者 | Hunter Wolf Research 编译 | 华尔街大事件 越来越多的证据表明,AI 训练并不一定依赖于高端 GPU,这可能会减缓 英伟达( NASDAQ: NVDA ) 未 来的增长。 英伟达 的数据中心业务经历了强劲增长,这得益于 Hyperscaler 客户对 AI 训练的大量 GPU 需求。 数据中心业务的收入在 2024 财年和 2025 财年分别增长了 216% 和 142%。 | | 2022 | 2023 | 2024 | 2025 | | --- | --- | --- | --- | --- | | Revenue Growth Rate | 61.4% | 0.2% 125.9% 114.2% | | | | Data Center | 58.5% | 41.4% 216.7% 142.4% | | | | Gaming | 60.6% | -27.2% | 15.2% | 9.1% | | Professional Visualization | 100.5% | -26.9% | 0.6% | 22.3% | | Automotive | 5.6% | 59.5% ...