AI计算迎来重大变革，英伟达押注的“推理”是什么？

图1：黄仁勋开始发力推理芯片 凤凰网科技讯 北京时间3月17日，据《华尔街日报》报道，AI领域正在经历一场重大变革，这对大大小小的科技公司都影响深远。 过去五年间，AI领域的主要焦点一直是大语言模型的训练。这是一个成本高昂的过程，需要数万块芯片、消耗巨大的能源，且在偏远的大型数据中心进 行。这一训练过程需要使用数千个专业微处理器芯片组成的集群，将数十亿条信息(如词语定义、历史事实、财务统计数据、猫咪照片等)输入模型。芯片集 群每周7天、每天24小时运行，持续数周甚至数月之久。 从训练到推理 如今，随着越来越多的公司部署AI智能体，并试图将基于大语言模型构建的新工具商业化，焦点已转向推理：这种计算方式能让训练好的AI模型响应用户 的查询。 根据研究机构Gartner的数据，今年全球在推理基础设施(包括芯片、数据中心和网络硬件)上的资本支出，预计将首次超过训练资本支出。到2029年，企业在 推理上的投入将达到720亿美元，是训练投入370亿美元的近两倍。 推理支出将超过训练 这一转变意味着，科技公司购买的芯片类型将发生重大变化。英伟达之所以成为全球市值最高的公司，靠的是销售名为GPU的芯片，这类芯片具备模型训练 ...