Workflow
推理
icon
Search documents
OpenAI研究负责人诺姆·布朗:基准测试比数字大小毫无意义,未来靠token成本衡量模型智能|GTC 2025
AI科技大本营· 2025-03-24 08:39
责编 | 王启隆 出品丨AI 科技大本营(ID:rgznai100) 今年英伟达大会(GTC 2025)邀请到了 OpenAI 的人工智能推理研究负责人、OpenAI o1 作者 诺姆·布朗(Noam Brown) 参与圆桌对话。 他先是带着大家回顾了自己早期发明"德扑 AI"的工作,当时很多实验室都在研究玩游戏的 AI,但大家都觉得摩尔定律或者扩展法则(Scaling Law)这 些算力条件才是突破关键。诺姆则在最后才顿悟发现,范式的更改才是真正的答案:" 如果人们当时就找到了正确的方法和算法,那多人扑克 AI 会提前 20 年实现 。 " 究其根本原因,其实还是很多研究方向曾经被忽视了。" 在项目开始前,没有人意识到 推理计算会带来这么大的差异。 " 毕竟,试错的代价是非常惨痛的,诺姆·布朗用一句很富有哲思的话总结了直到现在都适用的一大问题:" 探索全新的研究范式,通常不需要大量的计算 资源。但是,要大规模地验证这些新范式,肯定需要大量的计算投入。 " 左为英伟达专家布莱恩·卡坦扎罗,中为诺姆·布朗,右为主持人瓦尔蒂卡 在和英伟达专家的对话过程中,诺姆还对自己加入 OpenAI 之前、成为" 德扑 AI ...
【电子】英伟达GTC2025发布新一代GPU,推动全球AI基础设施建设——光大证券科技行业跟踪报告之五(刘凯/王之含)
光大证券研究· 2025-03-22 14:46
点击注册小程序 特别申明: 本订阅号中所涉及的证券研究信息由光大证券研究所编写,仅面向光大证券专业投资者客户,用作新媒体形势下研究 信息和研究观点的沟通交流。非光大证券专业投资者客户,请勿订阅、接收或使用本订阅号中的任何信息。本订阅号 难以设置访问权限,若给您造成不便,敬请谅解。光大证券研究所不会因关注、收到或阅读本订阅号推送内容而视相 关人员为光大证券的客户。 报告摘要 北京时间3月19日凌晨,英伟达举办2025年GTC大会,黄仁勋在圣何塞 SAP 中心发表的现场主题演讲,关 注代理式AI、机器人、加速计算等领域的未来发展。此外,该大会还包括1000多场具有启发性意义的会 议,以及400多项展示、技术实战培训和大量独特的交流活动。 提出Agentic AI,新的推理范式将继续推动全球数据中心建设 黄仁勋按照"Generative AI(生成式AI)、Agentic AI(智能体)、Physical AI(具身AI)"三个阶段的进 化路线,将Agentic AI描述为AI技术发展的中间态。Scaling Law的发展需要投入更多的数据、更大规模的 算力资源训练出更好的模型,训练规模越大,模型越智能,预计全球数 ...
英伟达的新款 Blackwell Ultra 和 Rubin 芯片如何引领下一波 AI 浪潮
美股研究社· 2025-03-21 10:48
作者 | Aseity Research 编译 | 华尔街大事件 英伟达(NASDAQ: NVDA ) 最近发布了其新系列 Blackwell Ultra 和 Rubin 芯片,相信它们 将引领下一波人工智能投资浪潮。如果生成式人工智能是第一个,那么推理式人工智能将是第 二个,这些芯片似乎考虑到了这些架构。本质上,Blackwell 是 2024 年发布的 2024 Blackwell 型号的涡轮增压版。这些芯片提供的一些最大好处是内存带宽大幅增加,单个 GPU 上的内存 带宽从 192GB 飙升至 288GB。实际上,这使得这些 GPU 能够处理更大的人工智能模型,从 而使它们能够高效处理密集型工作负载。它们对于训练深度学习应用程序也更加实用。 这些芯片的另一个主要特点是,除了拥有更大的内存之外,它还建立在 Blackwell 的"基于图 块"的设计之上,而 Ultra 系列旨在进一步增强这一设计,使 性能 比其前代产品提高约 1.5 倍。 Rubin 将于 2026 年发布,将取代 Blackwell,由一对芯片组成。它们由一个 名为 Vera 的定制 Arm CPU 组成,旨在并行工作。这是 AI 进化 ...
电子行业快评报告:英伟达GTC2025大会召开,关注泛AI前沿科技
Wanlian Securities· 2025-03-20 07:39
Investment Rating - The industry investment rating is "Outperform the Market," indicating an expected relative increase of over 10% in the industry index compared to the broader market within the next six months [11]. Core Insights - NVIDIA continues to lead the high-end AI chip development with the introduction of the Blackwell Ultra GPU, which features significant upgrades in HBM technology, achieving a FP4 precision computing power of 15 PetaFLOPS, a 2.5 times improvement over the previous Hopper architecture [2]. - The AI sector is entering a "big inference" era, with substantial demand for computing power. NVIDIA's CEO announced that major cloud service providers are expected to purchase 3.6 million Blackwell architecture chips by 2025, with data center spending projected to reach $1 trillion by 2028 [3]. - NVIDIA is enhancing its AI ecosystem by launching products tailored for various applications, including the Blackwell Ultra NVL72 cabinet for AI inference, which shows a 1.5 times performance improvement over its predecessor [3][4]. Summary by Sections Industry Events - The NVIDIA GTC 2025 conference was held from March 17 to 21, 2025, in San Jose, California, where CEO Jensen Huang discussed advancements in AI technology, chip product planning, and multi-domain collaborations [1]. AI Chip Development - The Blackwell Ultra GPU features advanced HBM3e memory with 288GB of VRAM, and NVIDIA has outlined a roadmap for three future GPU architectures: Rubin, Rubin Ultra, and Feynman [2]. AI Applications - NVIDIA's new products, including the Dynamo AI factory operating system, optimize the performance of AI models, achieving a 40 times performance increase over the Hopper architecture in inference tasks [3][4]. Investment Recommendations - The report suggests focusing on investment opportunities within the AI computing and application sectors, particularly in companies leading in HBM and CPO technologies, as well as domestic firms benefiting from China's new national system advantages [9].
软银收购Ampere Computing
半导体行业观察· 2025-03-20 01:19
如果您希望可以时常见面,欢迎标星收藏哦~ 来源:内容编译自 NYT ,谢谢。 软银周三表示,已同意以 65 亿美元收购硅谷芯片初创公司Ampere Computing,加倍押注源自智能 手机的技术将主导全球数据中心。 这笔交易还反映了这家日本企业集团的信念,即 Ampere 的芯片可以开始在人工智能领域发挥重要 作用,而英伟达迄今为止在该领域获得了最多的回报。 Ampere 成立于八年前,主要销售基于 Arm Holdings 技术的数据中心芯片。Arm Holdings 是一家 英国公司,其授权的芯片设计已为几乎所有手机提供支持。软银于 2016 年收购了 Arm,并一直致 力于让基于 Arm 技术的芯片得到更广泛的应用,并用于不同的任务。 软银董事长兼首席执行官孙正义在准备好的讲话中表示:"人工智能的未来需要突破性的计算能 力。""Ampere 在半导体和高性能计算方面的专业知识将有助于加速这一愿景,并深化我们对美国人 工智能创新的承诺。" 软银表示,将以自己的名义将 Ampere 作为全资子公司进行运营。 此次出售正值一系列交易和联盟变动之际,这些交易和联盟变动的背后是市场对用于支持 OpenAI 的 ...
解读英伟达的最新GPU路线图
半导体行业观察· 2025-03-20 01:19
如果您希望可以时常见面,欢迎标星收藏哦~ Nvidia 在很大程度上拥有 AI 训练,并且如今在 AI 推理方面占有很大的份额,尤其是基础和推理 模型。所以你可能会认为路线图上没有具体信息。但 Nvidia 也让世界上很多人想知道对 AI 计算的 需求是否最终会减弱,或者至少会用更便宜的替代品来满足。此外,作为其最大客户的所有超大规 模和云构建者也在构建自己的 CPU 和 AI 加速器;公开的路线图是为了提醒他们 Nvidia 致力于构 建比他们更好的系统——并让我们都知道,这样我们就可以跟踪谁在实现他们的里程碑,谁没有。 Nvidia 的路线图非常宏大,它拥有 GPU、CPU、纵向扩展网络(用于跨 GPU 和有时 CPU 共享内 存的内存原子互连)和横向扩展网络(用于更松散地将共享内存系统相互连接)。它还有 DPU,即 具有本地化 CPU 和有时 GPU 处理的高级 NIC,以下路线图中未显示这些产品: Quantum 系列 InfiniBand 交换机的容量增长也同样不尽如人意,也没有入选。对于人工智能领域来 说,InfiniBand 的重要性越来越低,因为人工智能领域希望能够进一步扩展,而基于 Infi ...
深度解读黄仁勋GTC演讲:全方位“为推理优化”,“买越多、省越多”,英伟达才是最便宜!
硬AI· 2025-03-19 06:03
作者 |赵雨荷 编辑 | 硬 AI 当地时间3月18日周二,英伟达CEO黄仁勋在加州圣何塞举行的英伟达AI盛会GTC 2025上发表主题演 讲。美国知名半导体咨询机构Semianalysis深度解读黄仁勋GTC演讲,详细阐述英伟达在推动AI推理性能 提升方面的最新进展。 市场担心的是,DeepSeek式的软件优化以及英伟达主导的硬件进步带来的巨大成本节省,可能导致对AI 硬件的需求下降。然而,价格会影响需求,当AI成本降低时,AI能力的边界不断被突破,而需求随之增 加。 随着英伟达在硬件和软件方面的推理效率提升,使得模型推理和智能代理的部署成本大幅降低,从而实现 成本效益的扩散效应,实际的消费量反而会增加,正如英伟达的口号所说的那样:"买越多、省越多"。 点击 上方 硬AI 关注我们 Semianalysis表示,在GTC2025大会上,英伟达推出的推理Token扩展、推理堆栈与Dynamo技术、共封装光学 (CPO)技术等创新将显著降低AI总拥有成本,使得高效推理系统的部署成本大幅下降,并巩固了英伟达在全球AI生态 系统中的领先地位。 硬·AI 以下为文章的核心观点: 推理Token扩展:预训练、后训练与推 ...
速递|从训练到推理:AI芯片市场格局大洗牌,Nvidia的统治或有巨大不确定性
Z Finance· 2025-03-14 11:39
图片来源: Unsplash Nvidia 在 AI 芯片领域的霸主地位正面临挑战,初创公司 DeepSeek 等竞争对手,正抓住 AI 计算需求 变化,试图打破其统治。 从训练到推理,AI芯片市场格局的转变 DeepSeek 的 R1 和其他推理模型,如 OpenAI 的 o3 和 Anthropic 的 Claude 3.7 ,在用户发出请求时 消耗的计算资源比之前的 AI 系统更多。 这改变了 AI 计算需求的重点,直到最近,这一需求还主要集中在模型的训练或创建上。随着个人和 企业,对超越目前聊天机器人(如 ChatGPT 或 xAI 的 Grok )应用的需求增长, 推理预计将在技术 需求中占据更大比重。 Nvidia 的竞争对手,从 Cerebras 和 Groq 等 AI 芯片制造商初创公司,到谷歌、亚马逊、微软和 Meta 等大型科技公司,定制加速处理器——正集中力量,试图颠覆这家全球最有价值的半导体公司。 "训练让 AI 成长,而推理则是 AI 的应用。" Cerebras 的CEO Andrew Feldman 表示," AI 的使用量 已经大幅飙升,目前打造一款在推理方面远胜于训练的芯片, ...
DeepSeek后更大的机遇:AI端侧推理创新 | 智在终端
量子位· 2025-03-11 05:24
明敏 鱼羊 发自 凹非寺 量子位 | 公众号 QbitAI 每年开春的"新机潮",今年出尽风头的是DeepSeek。 一时之间,几乎所有主流消费终端厂都在短时间内完成DeepSeek的接入。 荣耀、OPPO、魅族、vivo、小米纷纷官宣自家AI助理上线DeepSeek-R1及其满血版;甚至OPPO今年新发的旗舰大折叠Find N5,也强调 了对DeepSeek的支持。 另一个被掀起鲶鱼效应的是车圈。 一个月内,吉利、比亚迪、奇瑞、岚图、长城、理想等超过20家车企宣布接入DeepSeek,形成汽车与AI加速融合的一个切面。 热潮之下是技术洪流不断向前涌动—— AI正在进入推理创新时代。 如此趋势认知来自高通。DeepSeek效应从AI领域向外辐射,从算法创新逐渐演变成对每个人生活工作的潜在影响。 辐射普罗大众,消费终端是关键桥梁。 由此,在当下节点,一份对AI端侧趋势的梳理就变得尤为重要。高通最新发布的白皮书 《AI变革正在推动终端推理创新》 ,已梳理出四大趋 势: 透过这份行业分析,AI推理之于终端将产生哪些影响?也就有更明了了。 AI正在进入推理创新时代 最首要的问题,DeepSeek这条"鲶鱼"究竟改变了 ...
大模型全军覆没,中科院自动化所推出多图数学推理新基准 | CVPR 2025
量子位· 2025-03-11 05:24
量子位 | 公众号 QbitAI 挑战多图数学推理新基准,大模型直接全军覆没?! 事情是这样的。 近日,中国科学院自动化研究所推出 多图数学推理全新基准MV-MATH (该工作已被CVPR 2025录用),这是一个精心策划的多图数学推理 数据集,旨在全面评估MLLM(多模态大语言模型)在多视觉场景中的数学推理能力。 结果评估下来发现,GPT-4o仅得分32.1,类o1模型QvQ得分29.3,所有模型均不及格。 MV-MATH团队 投稿 | Statistics | Number | | --- | --- | | Total Questions | 2009 | | * multiple-choice questions | 1109 | | *Free-form questions | 900 | | -one-step questions | 800 | | -multi-step questions | 100 | | Questions in the testmini set | 200 | | Difficulties (Easy: Medium: Hard) | 27%:48%:25% | | T ...