AI训练

Search documents
解读英伟达的最新GPU路线图
半导体行业观察· 2025-03-20 01:19
如果您希望可以时常见面,欢迎标星收藏哦~ Nvidia 在很大程度上拥有 AI 训练,并且如今在 AI 推理方面占有很大的份额,尤其是基础和推理 模型。所以你可能会认为路线图上没有具体信息。但 Nvidia 也让世界上很多人想知道对 AI 计算的 需求是否最终会减弱,或者至少会用更便宜的替代品来满足。此外,作为其最大客户的所有超大规 模和云构建者也在构建自己的 CPU 和 AI 加速器;公开的路线图是为了提醒他们 Nvidia 致力于构 建比他们更好的系统——并让我们都知道,这样我们就可以跟踪谁在实现他们的里程碑,谁没有。 Nvidia 的路线图非常宏大,它拥有 GPU、CPU、纵向扩展网络(用于跨 GPU 和有时 CPU 共享内 存的内存原子互连)和横向扩展网络(用于更松散地将共享内存系统相互连接)。它还有 DPU,即 具有本地化 CPU 和有时 GPU 处理的高级 NIC,以下路线图中未显示这些产品: Quantum 系列 InfiniBand 交换机的容量增长也同样不尽如人意,也没有入选。对于人工智能领域来 说,InfiniBand 的重要性越来越低,因为人工智能领域希望能够进一步扩展,而基于 Infi ...
速递|从训练到推理:AI芯片市场格局大洗牌,Nvidia的统治或有巨大不确定性
Z Finance· 2025-03-14 11:39
图片来源: Unsplash Nvidia 在 AI 芯片领域的霸主地位正面临挑战,初创公司 DeepSeek 等竞争对手,正抓住 AI 计算需求 变化,试图打破其统治。 从训练到推理,AI芯片市场格局的转变 DeepSeek 的 R1 和其他推理模型,如 OpenAI 的 o3 和 Anthropic 的 Claude 3.7 ,在用户发出请求时 消耗的计算资源比之前的 AI 系统更多。 这改变了 AI 计算需求的重点,直到最近,这一需求还主要集中在模型的训练或创建上。随着个人和 企业,对超越目前聊天机器人(如 ChatGPT 或 xAI 的 Grok )应用的需求增长, 推理预计将在技术 需求中占据更大比重。 Nvidia 的竞争对手,从 Cerebras 和 Groq 等 AI 芯片制造商初创公司,到谷歌、亚马逊、微软和 Meta 等大型科技公司,定制加速处理器——正集中力量,试图颠覆这家全球最有价值的半导体公司。 "训练让 AI 成长,而推理则是 AI 的应用。" Cerebras 的CEO Andrew Feldman 表示," AI 的使用量 已经大幅飙升,目前打造一款在推理方面远胜于训练的芯片, ...
Meta自研训练芯片要来了,集成RISC-V内核
半导体行业观察· 2025-03-12 01:17
由于该处理器专为 AI 训练而设计(这意味着要处理大量数据),因此预计该处理器将配备 HBM3 或 HBM3E 内存。考虑到我们正在处理定制处理器,Meta 定义了其支持的数据格式和指令,以优化 芯片尺寸、功耗和性能。至于性能,该加速器必须提供与 Nvidia 最新的 AI GPU(例如 H200、 B200 以及可能的下一代B300)相媲美的每瓦性能特性。 该芯片是 Meta 的 Meta 训练和推理加速器 (MTIA) 项目的最新成员。该项目曾面临各种挫折,包括 在类似阶段停止开发。 例如,在有限的部署测试中,Meta 内部推理处理器未能达到性能和功率目标,因此停产。这一失败 导致 Meta 在 2022 年改变了战略,大量订购 Nvidia GPU,以满足其即时的 AI 处理需求。 如果您希望可以时常见面,欢迎标星收藏哦~ 来源:内容 编译自tomshardware ,谢谢。 几年前,Meta 是首批为 AI 推理打造基于 RISC-V 的芯片的公司之一,旨在降低成本并减少对 Nvidia 的依赖。据路透社报道,该公司更进一步设计了(可能是在博通的帮助下)用于 AI 训练的 内部加速器。如果该芯片能够满 ...