人工智能推理

Search documents
AI芯片公司,估值60亿美元
半导体芯闻· 2025-07-10 10:33
Core Viewpoint - Groq, a semiconductor startup, is seeking to raise $300 million to $500 million, with a post-investment valuation of $6 billion, to fulfill a recent contract with Saudi Arabia that is expected to generate approximately $500 million in revenue this year [1][2][3]. Group 1: Funding and Valuation - Groq is in discussions with investors to raise between $300 million and $500 million, aiming for a valuation of $6 billion post-funding [1]. - In August of the previous year, Groq raised $640 million in a Series D funding round led by Cisco, Samsung Catalyst Fund, and BlackRock Private Equity Partners, achieving a valuation of $2.8 billion [4]. Group 2: Product and Market Position - Groq is known for producing AI inference chips designed to optimize speed and execute pre-trained model commands, specifically a chip called Language Processing Unit (LPU) [5]. - The company is expanding internationally by establishing its first data center in Helsinki, Finland, to meet the growing demand for AI services in Europe [5]. - Groq's LPU is intended for inference rather than training, which involves interpreting real-time data using pre-trained AI models [5]. Group 3: Competitive Landscape - While NVIDIA dominates the market for chips required to train large AI models, numerous startups, including SambaNova, Ampere, Cerebras, and Fractile, are competing in the AI inference space [5]. - The concept of "sovereign AI" is being promoted in Europe, emphasizing the need for data centers to be located closer to users to enhance service speed [6]. Group 4: Infrastructure and Partnerships - Groq's LPU will be installed in Equinix data centers, which connect various cloud service providers, facilitating easier access for businesses to Groq's inference capabilities [6]. - Groq currently operates data centers utilizing its technology in the United States, Canada, and Saudi Arabia [6].
AI芯片新贵Groq在欧洲开设首个数据中心以扩大业务
智通财经网· 2025-07-07 07:03
Group 1 - Groq has established its first data center in Helsinki, Finland, to accelerate its international expansion, supported by investments from Samsung and Cisco [1] - The data center aims to leverage the growing demand for AI services in Europe, particularly in the Nordic region, which offers easy access to renewable energy and cooler climates [1] - Groq's valuation stands at $2.8 billion, and it has designed a chip called the Language Processing Unit (LPU) specifically for inference rather than training [1] Group 2 - The concept of "sovereign AI" is being promoted by European politicians, emphasizing the need for data centers to be located within the region to enhance service speed [2] - Equinix, a global data center builder, connects various cloud service providers, allowing businesses to easily access multiple vendors [2] - Groq's LPU will be installed in Equinix's data centers, enabling enterprises to access Groq's inference capabilities through Equinix [2]
国产SOTA新模型精准get“画(3+6)条命的动物” | 开源
量子位· 2025-06-21 03:57
金磊 整理自 凹非寺 量子位 | 公众号 QbitAI 生成图像 这件事, 会推理 的AI才是好AI。 举个例子,以往要是给AI一句这样的Prompt: (3+6)条命的动物。 我们人类肯定一眼就知道是猫咪,但AI的思考过程却是这样的: △ 虽然生成了猫,但思考过程不对 思考的过程还是把"(3+6)"里的数字分开来处理,并没有真正get到其背后 "九条命的动物=猫" 的本意。 以及像ChatGPT,还是执着于在图片里面展示数字: 究其原因,是因为当前主流的基于文本进行图像生成的方法往往依赖固定的文本编码器,仅能处理"纯文本"输入,难以自然接入图像、音频 等模态的信息。 同时,这类系统在应对"复杂世界知识"和"多步骤逻辑推理"方面表现乏力。 但就在最近,清华大学、腾讯ARC Lab、香港中文大学和香港大学联手提出了一个新大模型—— MindOmni ,显著增强了AI的 "推理生成 能力" 。 它不仅能理解复杂指令,还能基于图文内容展开连贯而可信的"思维链"(Chain-of-Thought, CoT),生成具备逻辑性与语义一致性的图像 或文本输出: △ 推理图像生成可视化结果对比 △ 对基于多模态用户输入的推理 ...
迈向人工智能的认识论六:破解人工智能思考的密码
3 6 Ke· 2025-06-18 11:52
关于人工智能推理和思路链忠实度的十大技术常见问题 1. 为什么推理模型在较难的任务上表现出较低的思路链忠诚度,这揭示了人工智能推理的本质? 研究表明,从MMLU任务转向GPQA任务时,Claude 3.7 Sonnet的忠实度相对下降了44%,DeepSeek R1的忠实度则下降了32%。这是因为忠实的CoT通常 遵循一种模式:模型首先独立推导答案,然后明确地与提示进行比较并承认差异。在更困难的任务中,模型缺乏足够的先验知识来执行这种独立推导,迫 使它们更多地依赖提示,而无法将这种依赖性用语言表达出来。这表明,推理透明度从根本上受到模型对其知识库的置信度的限制,这表明当前的推理模 型可能比其表面性能所显示的更加脆弱。 含义: 这一发现对高级人工智能系统的 CoT 监控的可扩展性提出了挑战,因为我们最需要透明度的任务(新颖、困难的问题)恰恰是模型最不透明的地 方。 2. "突现能力幻象"假说如何与真正的电路级规划和多步推理证据相协调? 当我们区分测量伪影和机制证据时,这种表面上的矛盾就消失了。Schaeffer 等人证明,不连续的度量(例如精确的字符串匹配)可以从平滑的底层改进 中产生明显的涌现。然而,Anth ...
AMD收购两家公司:一家芯片公司,一家软件公司
半导体行业观察· 2025-06-06 01:12
如果您希望可以时常见面,欢迎标星收藏哦~ 来源:内容 编译自 AMD 。 AMD 周四证实,已收购 Untether AI 的员工,Untether AI 是一家 AI 推理芯片开发商,其产品 据称比边缘环境和企业数据中心的竞争对手产品速度更快、更节能。 AMD 发言人在一份声明中告诉 CRN:"AMD 已达成战略协议,将从 Untether AI 收购一支优秀 的 AI 硬件和软件工程师团队。" 该代表补充道:"此次交易将为 AMD 带来一支世界一流的工程师团队,致力于提升公司的 AI 编 译器和内核开发能力,并增强我们的数字和 SoC 设计、设计验证和产品集成能力。我们非常高兴 地欢迎该团队以其独特的专业知识加入 AMD。" AMD 发言人拒绝透露该交易的财务细节。 该公司最初的 runAI200 推理加速器采用台积电 16 纳米工艺制造,提供 500 INT8 TOPs 性能、 每瓦 8 TOPs 的能效和 200 MB 的 SRAM。新款"Boqueria"芯片采用台积电 7 纳米工艺制造,具 有 2 petaflops 的 FP8 性能(相当于每瓦 30 teraflops)和 238 MB 的 S ...
NVIDIA GTC 2025:GPU、Tokens、合作关系
Counterpoint Research· 2025-04-03 02:59
随着我们迈入 Agentic 时代,对于各组织机构而言,若要对模型进行扩展以实现高效推理,他们将需要 在从训练到推理的每一个步骤中都遵循扩展流程。在 NVIDIA GTC 2025 上,黄仁勋的愿景以及所发布 的消息聚焦于在从企业信息技术、云计算到机器人技术等各个行业中构建 " AI工厂"。 为了让AI工厂取得成功,NVIDIA持续创新,并提供完整的AI技术栈,包括芯片、系统和软件,以最高 的效率来加速和扩展AI。该公司的方法涵盖了Agentic AI 和 Physical AI 领域。NVIDIA在其整个技术栈 方面做出了以下发布内容: 图片来源:NVIDIA & Counterpoint Research 芯片方面:从计算路线图到硅光子学领域 都有重大消息发布 图片来源:NVIDIA NVIDIA 的芯片产品组合涵盖了中央处理器(CPU)、图形处理器(GPU)以及网络设备(用于纵 向扩展和横向扩展)。 NVIDIA 发布了其最新的 " Blackwell超级AI工厂" 平台 GB300 NVL72,与 GB200 NVL72 相比,其 AI性能提升了 1.5 倍。 NVIDIA 分享了其芯片路线图,这样一 ...
OpenAI研究负责人诺姆·布朗:基准测试比数字大小毫无意义,未来靠token成本衡量模型智能|GTC 2025
AI科技大本营· 2025-03-24 08:39
责编 | 王启隆 出品丨AI 科技大本营(ID:rgznai100) 今年英伟达大会(GTC 2025)邀请到了 OpenAI 的人工智能推理研究负责人、OpenAI o1 作者 诺姆·布朗(Noam Brown) 参与圆桌对话。 他先是带着大家回顾了自己早期发明"德扑 AI"的工作,当时很多实验室都在研究玩游戏的 AI,但大家都觉得摩尔定律或者扩展法则(Scaling Law)这 些算力条件才是突破关键。诺姆则在最后才顿悟发现,范式的更改才是真正的答案:" 如果人们当时就找到了正确的方法和算法,那多人扑克 AI 会提前 20 年实现 。 " 究其根本原因,其实还是很多研究方向曾经被忽视了。" 在项目开始前,没有人意识到 推理计算会带来这么大的差异。 " 毕竟,试错的代价是非常惨痛的,诺姆·布朗用一句很富有哲思的话总结了直到现在都适用的一大问题:" 探索全新的研究范式,通常不需要大量的计算 资源。但是,要大规模地验证这些新范式,肯定需要大量的计算投入。 " 左为英伟达专家布莱恩·卡坦扎罗,中为诺姆·布朗,右为主持人瓦尔蒂卡 在和英伟达专家的对话过程中,诺姆还对自己加入 OpenAI 之前、成为" 德扑 AI ...
速递|与微软再对弈,OpenAI向CoreWeave注资120亿美元
Z Potentials· 2025-03-11 03:27
这笔交易涉及 OpenAI 获得 CoreWeave 价值 3.5 亿美元的股权。据悉,此次私募配售与 CoreWeave 计划中的 IPO 是分开进行的,此举为该 CoreWeave 在 预计 350 亿美元的公开上市前增添了动力。 图片来源: Unsplash 在一场激烈对决的棋局中, OpenAI 与 GPU 资源丰富的云服务提供商 CoreWeave 签署了一项为期五年、价值 119 亿美元的协议,据路透社援引接近交易的 人士透露。 CoreWeave 上周提交了上市申请,但尚未确定发行价格或首次公开募股的时间。 2024 年,微软占 CoreWeave 收入的 62% ,其收入增长至惊人的 19 亿美元——相较于 2023 年的 2.289 亿美元,几乎增长了八倍。 由持股 6% 的 Nvidia 支持, CoreWeave 运营着一项专为 AI 设计的云服务,截至 2024 年底,其拥有 32 个数据中心网络,运行着超过 25 万台 Nvidia GPU 。 公司表示,自那时起, CoreWeave 已增加了更多 GPU ,包括 Nvidia 最新产品 Blackwell ,该产品支持 AI 推理 ...
英伟达(纪要):对中国的出货比例不变
海豚投研· 2025-02-28 11:07
英伟达 (NVDA.O)北京时间2月27日凌晨,美股盘后发布 2025财年第四季度财报(截至 2025年1月),电话会具体内容如下: 5)消费互联网:在生成式人工智能和深度学习用例(如推荐系统、视觉、语言理解、合成数据生成、搜索和代理式人工智能)的推动下,消费互联网收入同比增 长 3 倍; 6)企业收入:同比增长近 2 倍,原因是对模型微调、RAG 和代理人工智能工作流程以及 GPU 加速数据处理的需求不断增长; 以下是英伟达2025财年四季度的财报电话会纪要,财报解读请移步《 英伟达:Deepseek,戳破了老黄的 "皮衣"? 》 一、 英伟达 财报核心信息回顾 1、财务核心信息:2025财年第四季度是创纪录的季度,营收达393亿美元,环比增长12%,同比增长78%,高于375亿美元的预期。2025财年全年营收为1305亿美 元,较上一年增长114%。 | NVIDIA (NVDA.O) FY25Q4 Financial Performance | (in US$ million) | | | | | | | | | | | | | | | | | | | | | | | | | --- | --- | - ...