Workflow
大语言模型(LLM)
icon
Search documents
舍弃CUDA编程!CMU等用几十行代码将LLM编译成巨型内核,推理延迟可降6.7倍
机器之心· 2025-06-21 01:33
机器之心报道 编辑:杜伟 在 AI 领域,英伟达开发的 CUDA 是驱动大语言模型(LLM)训练和推理的核心计算引擎。 MPK 的易用性很强,你只需要几十行 Python 代码就能将 LLM 编译成一个高性能巨型内核,实现快速推理,整个过程无需 CUDA 编程。 不过,CUDA 驱动的 LLM 推理面临着手动优化成本高、端到端延迟高等不足,需要进一步优化或者寻找更高效的替代方案。 近日,CMU 助理教授贾志豪(Zhihao Jia)团队创新玩法,推出了一个名为 「Mirage Persistent Kernel(MPK)」的编译器,可以自动将 LLM 转化为优化的巨型 内核(megakernel),从而将 LLM 推理延迟降低 1.2 到 6.7 倍。 MPK 将 LLM 推理延迟推近硬件极限。在单个 A100-40GB GPU 上,MPK 将 Qwen3-8B 每个 token 的延迟从 14.5 毫秒 (vLLM/SGLang) 降低到 12.5 毫秒,逼近基于 内存带宽计算得出的 10 毫秒理论下限。 GitHub 地址:https://github.com/mirage-project/mirage/ ...
2025 年了,企业的 AI 采购预算都在怎么花?
机器之心· 2025-06-20 17:04
本文来自PRO会员通讯内容,文末关注「机器之心PRO会员」,查看更多专题解读。 a16z 近期发布 2025 年度的「企业如何采购 AI」主题报告,该报告基于对全球企业高管的深度访谈与广泛调 研,揭示了 2025 年企业在以 LLM 为代表的生成式 AI 的采购、部署与预算分配上的关键趋势。 目录 01. 为何企业的 AI 预算只增不减? 为什么企业在的 AI 支出一直在增加?企业的 AI 预算构成都有哪些变化?企业部署 AI 的目的在如何转变?... 02 . 货比三家,什么样的 LLM 能让企业掏钱? 为什么企业更看重 LLM 的「差异化」而非「商业化」?为什么开源模型越来越受欢迎?大小企业选择 LLM 的偏好有何区 别?... 03. 企业如何像采购传统软件一样采购 AI 模型? 企业现在采购 AI 模型都考虑哪些因素?外部基准对 AI 采购有什么影响?... ① 该报告是 a16z 的研究主题系列之一,其研究团队此前在 2024 年 2 月发布「企业构建和购买新一代人工智能的 16 项变革」。该报告从数十位《财富》500 强企业和顶级企业的领导者和 70 多位高管进行访谈和调查,得到了 16 项核心发 ...
速递|Meta百亿美元收购Ilya遭拒,扎克伯格转身挖走SSI CEO、Siri负责人和GitHub前掌门人
Sou Hu Cai Jing· 2025-06-20 13:31
图片来源:Unsplash 在宣布以143亿美元投资人工智能初创公司 Scale AI,并挖走其创始人 Alexandr Wang 后,Meta CEO 马克·扎克伯格显然才刚刚开始他的 AI 人才收割战。 据知情人士透露, 扎克伯格的 AI 豪掷计划已进一步瞄准了 Safe Superintelligence 的 CEO、前苹果高管 Daniel Gross,以及 GitHub 前 CEO Nat Friedman。 这本不是扎克伯格最初设想的合作方式。 消息人士称,今年早些时候,Meta 曾试图直接收购 Safe Superintelligence——这家由 OpenAI 联合创始人 Ilya Sutskever 创立的公司,在今年4月的一轮融 资中估值达到了320亿美元。然而,Sutskever 不仅拒绝了收购提议,也婉拒了 Meta 对其本人的挖角邀请。 在与 Sutskever 谈判破裂后不久,扎克伯格便转向与 Gross 展开接洽。据悉,Gross 除了领导 Safe Superintelligence 外,还与 Friedman 共同创办了风投机构 NFDG(取自两人姓名首字母)。 消息称, G ...
OpenAI路线遭质疑,Meta研究员:根本无法构建超级智能
3 6 Ke· 2025-06-20 12:00
超级智能(Superintelligence)是处于 AGI 之上、甚至通用能力超过人类的更高维 AI 发展方向。 学术头条在不改变原文大意的情况下,对整体内容做了精编,如下: 然而,在 Meta AI 研究员 Jack Morris 看来,Altman 提到超级智能的"工程问题",在于"构建大量适用于不同任务的 RL 环境,并训练 LLM 同时处理所有 这些任务"。他认为,这一由 OpenAI 等公司当前大力推进的路径——基于 LLM 的 RL——根本无法构建超级智能。 "我谦卑的预测是:LLM 将继续在训练分布内的任务上变得更好。随着我们收集更多类型的任务并进行训练,这将产生在广泛任务上越来越有用的 LLM。但它不会成为一个单一的超级智能模型。" Morris 在一篇题为"Superintelligence, from First Principles"的博客中,探讨了构建超级智能的 3 种可能方式:完全由监督学习(SL)、来自人类验证者 的强化学习(RL)、来自自动验证器的 RL。 扎克伯格不惜以一亿美金年薪挖角 OpenAI 等竞争对手的动作背后,便暴露了 Meta 等头部玩家追求"超级智能"的巨大野 ...
Andrej Karpathy:警惕"Agent之年"炒作,主动为AI改造数字infra | Jinqiu Select
锦秋集· 2025-06-20 09:08
"2025年将是智能体之年"几乎已经成为科技圈的共识。 Andrej Karpathy却对这股热潮提出了截然不同的看法。 在最近的旧金山AI Startup School主题演讲中,这位OpenAI创始成员、曾领导特斯拉Autopilot视觉团队的AI专家,对当前AI创业路径提出了两个核心看法: 第一,我们应对AI的未来抱有"十年的耐心"。他直言,每当看到"2025年将是智能体之年"这样的炒作时都会感到担忧,并强调这更将是一场需要"十年的长跑"。自 动驾驶就是例证:2013年的完美演示,12年后仍是未竟之业。一个惊艳的技术演示与一个能在现实世界中达到极致可靠性的产品之间,存在着极其漫长的鸿沟。 第二,当下应专注于打造"钢铁侠战衣"式的增强工具,而非追求全自动化的"机器人"。考虑到LLM仍然"易于犯错"的现实,更明智的做法是开发能让人类高效监督 和验证AI工作的部分自治产品。 为了说明当前我们面临的巨大变革,Karpathy系统性地提出了软件演进的三阶段理论——从人类编写代码的1.0时代,到神经网络权重的2.0时代,再到以自然语言为 编程接口的3.0时代。 他将大语言模型比作一种全新的操作系统:LLM充当"CP ...
Andrej Karpathy最新演讲爆火!人类已进入「说话就能编程」的软件3.0时代
机器之心· 2025-06-20 00:58
机器之心报道 机器之心编辑部 回顾 OpenAI 的早期成员,奥特曼成为 AI 浪潮的掌舵人之一,Ilya Sutskever 致力于探索 AI 安全的理想边界,而 Andrej Karpathy 则走上了一条「建造 并分享」的道路。 他痴迷于用代码将 AI 蓝图变为现实,又乐此不疲地把建造过程做成公开课分享给世界。 所以,当他人在构建一家伟大的公司时,Karpathy 同时在构建着 AI 应用与下一代的 AI 建设者。 6 月 17 日,Andrej Karpathy 在 YC AI Startup School 活动中发表了约 40 分钟的演讲,主题为《Software in the era of AI》。 视频链接: https://www.youtube.com/watch?v=LCEmiRjPEtQ Andrej 结合他在斯坦福、OpenAI 和特斯拉的工作经验,洞察到一个转变正在发生——软件正在再次经历变革。我们已经进入了「 软件 3.0」时代,在这 个时代, 自然语言成为新的编程接口,而模型则完成剩下的工作。 他探讨了这一转变为开发者、用户以及软件设计本身带来了什么,并指出我们不仅仅是在使用新工 ...
“AI教父”辛顿最新专访:没有什么人类的能力是AI不能复制的
创业邦· 2025-06-15 03:08
来源丨 腾讯科技(ID:qqtech) 被誉为"AI教父"的杰弗里·辛顿 于 近日接受了调查记者盖昂·埃斯皮纳的远程专访。 他称,AI正在以前所未有的速度演化: 变得更聪明、更少犯错,甚至具备了情感和意识。 他警告, AI不仅可能具备喜怒哀乐等情绪,还已经学会了欺骗。 辛顿大胆预测, AI完全失控的概率在10%到 20%之间,人类未来可能被AI所掌控。 辛顿因在机器学习和神经网络领域的开创性贡献,于2024年荣获诺贝尔物理学奖。他曾在谷歌担任 AI研究负责人长达十年 ,并 于2023年选择离开 。这样,他可以 更坦率地表达对AI潜在风险的深切 担忧。 过去那些只存在于反乌托邦科幻小说中的问题—— "AI会取代人类吗?"、"它会觉醒吗?"、"会反抗 人类吗?" ——如今正逐渐成为现实世界的核心议题,全球社会正在被迫直面这些重大挑战。 问: 当你说"AI更擅长推理"时,具体指的是什么? 辛顿: 过去,只要问题稍微复杂一点,AI就容易出错。但现在,AI在推理上的表现已经接近人类。虽 然人类和AI都会犯错,但AI犯错的概率正在迅速下降。 辛顿的言论再次发出警示: AI不仅仅是技术革命,更是深刻的伦理与社会变革。 未来 ...
烧钱一年,李飞飞的「空间智能」愿景有变化吗?
机器之心· 2025-06-13 12:02
01. 创业一年后,李飞飞如何阐述 World Labs 的愿景? 成立一年的World Labs 发布过什么进展?World Labs 的愿景有变化吗?空间智能终于有望解锁了?... 02 . 为什么没有空间智能的 AI 是不完整的? 本文来自PRO会员通讯内容,文末关注「机器之心PRO会员」,查看更多专题解读。 在近期由 a16z 普通合伙人 Erik Torenberg 主持的一场访谈中,李飞飞和 World Labs 早期投资者 Martin Casado 围绕「世界模型」和「空间智能」的话题探讨了她对 AI 技术的理解,并在创业 项目 启动一年后重新 介绍了 World Labs 的任务和愿景。 目录 2、李飞飞指出当前语言模型在描述和理解三维物理世界方面存在明显的局限性,空间智能则超越语言模型成 为智能的关键组件,是世界模型理解、重建和生成物理世界的核心能力。 ① 语言虽然是思想和信息的强大编码,但对 3D 物理世界而言是「有损的编码方式」,无法有效描述和操作三 维空间。而空间智能代表着更为古老和根本的智能形式,是 AI 的关键组成部分。 3、在这一认知框架下,World Labs 试图构建能理解 ...
揭秘LLM“思考”之谜:推理即“梯度下降”,元学习框架解构训练过程,还给优化提供新思路
量子位· 2025-06-10 04:05
RaML团队 投稿 量子位 | 公众号 QbitAI 近年来,大语言模型(LLM)以其卓越的文本生成和逻辑推理能力,深刻改变了我们与技术的互动方式。然而,这些令人瞩目的表现背后, LLM的内部机制却像一个神秘的"黑箱",让人难以捉摸其决策过程。 上海AI Lab的研究团队的近期提出Reasoning as Meta-Learning(RaML),尝试从 梯度下降 和 元学习 (Meta-Learning)的角度,揭示 了LLM如何"思考",并为优化其性能提供了新思路。 RaML的核心洞察:推理即"梯度下降" RaML框架的核心在于一个直观的类比:LLM在解决问题时生成的"推理轨迹"(即一步步推导的过程),就像模型参数在优化过程中的"伪梯度 下降"更新。 这意味着,当LLM进行多步推理时,其内部状态(即模型参数)会像典型的参数优化过程一样,逐步地"调整"和"适应",每一步都朝着更优的 解决方案逼近,直到得出最终的答案 。 研究团队通过理论推导发现,在Transformer模型中,每个推理轨迹的令牌都可以看作对参数的一次 "隐式更新" 。考虑典型的transformer块 的计算过程,当输入中增加一个推理轨迹令牌 ...
大模型是「躲在洞穴里」观察世界? 强化学习大佬「吹哨」提醒LLM致命缺点
机器之心· 2025-06-10 03:58
机器之心报道 编辑:张倩、泽南 为什么语言模型很成功,视频模型还是那么弱? 「我一直很困惑,语言模型怎么能从下一个 token 预测中学到这么多,而视频模型从下一帧预测中学到的却那么少?难道是因为大模型(LLM)其实是伪装的大脑 扫描仪?」 近日,加州大学伯克利分校副教授、强化学习大牛 Sergey Levine 发出了一记灵魂拷问。 由此进一步思索,我们目前探索 AGI 的方向,是否也到了需要调整的阶段了? AI 技术在快速发展,人们对于 AI 能力的上限,以及人脑和电脑异同的思考也越来越深入。上周末, OpenAI 联合创始人 Ilya Sutskever 在演讲中就曾提到:既然大 脑是台生物计算机,那么数字计算机应该也能做所有同样的事。 然而在学术界,也有很多人持不同态度,Sergey Levine 就是一位这样的学者。 他在昨日发布的一篇博客中表示, 当前的大语言模型(LLM)只是对人类大脑和思维的间接「扫描」。这些模型如同被困在洞穴之中,只能看到人类智慧的「投 影」,并试图通过这些「投影」来逆向推导出产生它们的思维过程。这种「逆向工程」并不能代替真正的思维 。 他的观点在机器学习社区获得了不少认同。 ...