Scaling

Search documents
黄仁勋「组局」,具身智能的核心玩家们聊了聊人形机器人的落地与未来
Founder Park· 2025-04-16 12:56
文章转载自 「 Linguista」 今年的 GTC 大会,英伟达发布了通用机器人模型 GR00T N1,老黄特别提到未来重点关注的趋势是「Physical AI」(物理 AI)。 不仅如此,老黄还把当下机器人领域的核心玩家都喊了过来,针对人形机器人领域当下的技术路径、数据问题以及通用模型和通用机器人等问题进行了深 入探讨,有不少很有价值的观点。 嘉宾阵容很强大,1X、Skild AI、Agility Robotics、Boston Dynamics……堪称具身智能领域的「华山论剑」。 嘉宾介绍: TLDR: Founder Park 正在搭建开发者社群,邀请积极尝试、测试新模型、新技术的开发者、创业者们加入,请扫码详细填写你的产品/项目信息,通过审核 后工作人员会拉你入群~ Bernt Børnich,人形机器人创企 1X 的创始人兼 CEO。1X 致力于构建完全自主的人形机器人。此前曾推出专注于家庭场景的人形机器人 NEO。 Deepak Pathak,具身智能创企 Skild AI 的 CEO 兼联创。Skild AI 致力于打造机器人通用「大脑」。此前曾推出曾推出可扩展的机器人基础模型「Skild B ...
OpenAI自曝GPT-4.5训练内幕:数据效率是关键,预训练仍然有用
Founder Park· 2025-04-14 11:34
智能产业新媒体!智东西专注报道人工智能主导的前沿技术发展,和技术应用带来的千行百业产业升级。聚焦智能变革,服务产业升级。 在 GPT-4.5 发布 1 个多月后,Sam Altman 与 GPT-4.5 的 3 位核心技术人员进行了一场 45 分钟的高信息量对谈,首次披露了这款模型 研发耗时严重超 期 、 计算集群频繁故障 、 提升路径难以预测 等诸多不为人知的细节。 对于今后的模型训练范式,乃至如何重新理解 Scaling Law、以及数据效果,都有不少启发。 参与本次对谈的 3 位 OpenAI 员工分别为 Alex Paino(负责 GPT-4.5 的预训练机器学习算法)、Amin Tootoonchian(OpenAI 首席系统架构师)与 Daniel Selsam(研究数据效率与算法)。 以下文章来源于智东西 ,作者陈骏达 陈家阳 智东西 . TLDR Founder Park 正在搭建开发者社群,邀请积极尝试、测试新模型、新技术的开发者、创业者们加入,请扫码详细填写你的产品/项目信息,通过审核后 工作人员会拉你入群~ 进群之后,你有机会得到: 01 GPT-4.5两年前已启动, 项目耗时远超预期 ...
一堂「强化学习」大师课 | 42章经
42章经· 2025-04-13 12:02
吴翼: RL 是机器学习这个大概念下一类比较特殊的问题。 曲凯: 今天我们请来了国内强化学习 (RL) 领域的专家吴翼,吴翼目前是清华大学交叉信息研究院 助理教授,他曾经在 OpenAI 工作过,算是国内最早研究强化学习的人之一,我们今天就争取一 起把 RL 这个话题给大家聊透。 首先吴翼能不能简单解释一下,到底什么是 RL? 传统机器学习的本质是记住大量标注过正确答案的数据对。 举个例子,如果你想让机器学习能分辨一张图片是猫还是狗,就要先收集 10000 张猫的照片和 10000 张狗的照片,并且给每一张都做好标注,让模型背下来。 上一波人工智能四小龙的浪潮其实都以这套框架为基础,主要应用就是人脸识别、指纹识别、图 像识别等分类问题。 这类问题有两个特点,一是单一步骤,比如只要完成图片分辨就结束了;二是有明确的标准答 案。 但 RL 很不一样。 RL 最早是用来打游戏的,而游戏的特点和分类问题有两大区别。 第一,游戏过程中有非常多的动作和决策。比如我们玩一个打乒乓球的游戏,发球、接球、回 球,每一个动作都是非标的,而且不同的选择会直接影响最终的结果。 第二,赢得一场游戏的方式可能有上万种,并没有唯一的标准答 ...
一堂「强化学习」大师课 | 42章经
42章经· 2025-04-13 12:01
曲凯: 今天我们请来了国内强化学习 (RL) 领域的专家吴翼,吴翼目前是清华大学交叉信息研究院助理教授,他曾经在 OpenAI 工作过,算是国内最早研究强化学 习的人之一,我们今天就争取一起把 RL 这个话题给大家聊透。 首先吴翼能不能简单解释一下,到底什么是 RL? 因此,RL 其实更通用一些,它的逻辑和我们在真实生活中解决问题的逻辑非常接近。比如我要去美国出差,只要最后能顺利往返,中间怎么去机场、选什么航 司、具体坐哪个航班都是开放的。 但 RL 很不一样。 RL 最早是用来打游戏的,而游戏的特点和分类问题有两大区别。 第一,游戏过程中有非常多的动作和决策。比如我们玩一个打乒乓球的游戏,发球、接球、回球,每一个动作都是非标的,而且不同的选择会直接影响最终的结 果。 第二,赢得一场游戏的方式可能有上万种,并没有唯一的标准答案。 所以 RL 是一套用于解决多步决策问题的算法框架。它要解决的问题没有标准答案,每一步的具体决策也不受约束,但当完成所有决策后,会有一个反馈机制来评 判它最终做得好还是不好。 吴翼: RL 是机器学习这个大概念下一类比较特殊的问题。 传统机器学习的本质是记住大量标注过正确答案的数据对。 ...
AI Agent 摩尔定律:每7个月能力翻倍,带来软件智能大爆炸
海外独角兽· 2025-04-11 11:03
AI Agent 领域也存在 scaling law,甚至还在加速。 2022 年 ChatGPT 刚发布时能够实现的代码任务差不多等同于人类耗时 30s 的任务,到今天, AI Agent 已经能够自主完成需要人类花费一个小时的 coding 任务。"任务长度"是一个相当直观地测量 AI Agent 能力变化的标准。 编译:haozhen 编辑:Siqi AI 独立研究机构 META 的数据分析发现,Agent 能够完成的任务长度正以指数级增长,大约每 7 个 月翻一倍,预计 2029 年 Agent 能够完成时长为 1 个工作月的任务。 有意思的是,最近这一趋势甚至还在加速,2024-2025 年 Agent 能完成的任务长度约每 4 个月翻一 倍,如果这种更快的趋势持续下去,Agent 可能在 2027 年就能完成长达一个月的任务。 本文是对 META、Forethought 和 AI Digest 研究对于 agent scaling law 的整理编译。AI 研究人员们认 为,AI scaling law 的终局是 AI agent 自主开发 AI agent,到了那个时候我们就会进入软件智能爆炸时 ...
从DeepSeek R1的复现看深度思考模型的未来|ML-Summit 2025
AI科技大本营· 2025-03-31 06:55
备受瞩目的 2025 全球机器学习技术大会(ML Summit 2025)将于 4 月 18-19 日在上海虹桥西郊庄园丽笙大酒店召开。本次盛会由 CSDN & Boolan 联合主办,汇聚了超 50 位来自学术界和工业界顶尖专家,共同探讨智能体、联邦学习、多模态大模型等热门 AI 技术实践。 作为全球机器学习技术大会的老朋友,新浪微博首席科学家及 AI 研发部负责人张俊林将带来《从 DeepSeek R1 的复现看深度思考模型的未来》的精 彩分享。 张俊林作为「大模型技术拆解得最通透的实战派」,在 2024 年的机器学习技术大会上,他对 Gemini 多模态架构、OpenAI o1 技术的硬核拆解,让 开发者直呼"终于有人讲透技术本质"。 系统梳理技术脉络: 回顾 DeepSeek R1 开源后的各类复现研究,涵盖 SFT 阶段的轻量适配(如 S1)与 RL 阶段的创新实践。 深度解析训练范式: 重点剖析其核心的两阶段训练模式——如何通过冷启动微调结合多领域数据优化进行 SFT,以及如何运用 GRPO 强化学习 与全场景对齐实现模型"深度思考"能力的跃迁。 探讨关键技术问题: 尝试解答一系列备受关注的核心问 ...
世界怎么就「东升西落」了?聊聊二级市场与 DeepSeek+Manus 的热潮 | 42章经
42章经· 2025-03-30 14:25
「东升西落」的叙事 曲凯: 最近我又来美国了,发现市场真是变化太快,这边突然有人开始提到一个所谓「东升西 落」的叙事。 莫傑麟: 对,二级市场今年 1 月以来一直在演绎这个剧本,但其实 24 年就已经在为这个叙事做 铺垫了。 24 年美国的宏观环境和各项经济数据都比较好。他们一方面非常重视 AI,在所有前沿创新上也一 直绝对领先,另一方面又凭借美元的强势吸引着全球的投资。 但今年 Trump 上台之后,情况发生了变化。 Trump 在关税、财政支出上都做了很多调整,一套大刀阔斧去杠杆的动作下来,大家关注的重点 从 AI 转向了宏观问题,也对未来多了很多不确定性。 又因为过去几年,美国股市一直走高,投资人的预期已经被拉得很满。所以大家现在极度厌恶风 险,股市就会出现剧烈的震荡。 而今年的中国刚好是美国的镜像。 其实国内的股价从 24 年开始就有回升,但并不明显,直到今年 DeepSeek 的发酵才彻底引爆。 归根结底,还是因为大家之前对于中国科技行业和宏观环境的预期都太低了。 曲凯: 对,我觉得「东升西落」本质上是一种价值评判的回归,之前大家确实过于低估国内 AI 了,而 DeepSeek 就是一个典型代表。 ...
大模型“神仙打架”,掀起复现潮、技术大升级后,我们需要关注什么? | 万有引力
AI科技大本营· 2025-03-25 01:45
以下文章来源于CSDN ,作者万有引力 CSDN . 成就一亿技术人 作者 | 万有引力 出品 | CSDN(ID:CSDNnews) 在过去短短的几周里,大模型赛道的信息密度飙升至前所未有的高度。DeepSeek 连续 五天开源 ,直接引发了一场复现热潮;阿里巴巴通义实验室、 腾讯相继推出面向视觉文档的 RAG 系统 ViDoRAG、新一代混元快思考模型 Turbo S ,加速了大模型的演进步伐;马斯克用 20 万张 GPU 训练出的 Grok 3 ,超越了许多业界标杆,再次验证了"大力出奇迹"的定律; Claude 3.7 Sonnet 迎来编码能力大升级,AI 编程的技术平权时代正在加速到来; DeepSeek 论文与 Kimi"撞车",越来越多公司开始布局稀疏注意力与线性注意力机制,这些技术正成为 Transformer 之后的关键探索方向;此外, Manus 模式的"虚拟机"概 念迅速走红,正在重塑大模型的运行方式... 在这场眼花缭乱的技术竞赛背后,真正值得我们关注的是什么?DeepSeek 的五连发 究竟意欲何为?在 545% 的成本利润率之下,其他大模型公司是 否也能找到盈利空间?面对行业变 ...
晚点播客丨MiniMax 闫俊杰聊大模型 2024:一个非共识判断引起的回声
晚点LatePost· 2025-01-22 13:56
"更好的模型可以导向更好的应用,但更好的应用和更多用户并不会导向更好的模型。" 文丨程曼祺 * 头图:Dota 2019 国际邀请赛决赛(TI9)中,OG 战队的 Ana 使用 IO(小精灵,图中球形发光体)的经典作战,OG 在 TI9 中夺冠。为什么用这个图?播客里有 答案。 ▲扫描上图中的二维码,可收听播客。《晚点聊 LateTalk》#99 期节目。欢迎在小宇宙、喜马拉雅、苹果 Podcast 等渠道关注、收听我们。 《晚点聊 LateTalk》是《晚点 LatePost》 推出的播客节目。"最一手的商业、科技访谈,最真实的从业者思考。" 上周四,我们发布图文访谈:《 晚点对话 MiniMax 闫俊杰:千万别套用移动互联网的逻辑来做 AI 》,这是这次访谈的音频版。 闫俊杰的一些 "非共识" 判断,引起不少讨论。 他认为,模型能力和用户规模并不是直接的飞轮关系:"更好的模型可以导向更好的应用,但更好的应用和更多用户并不会导向更好 的模型。" 而今天(1 月 22 日)字节跳动发布 Doubao-1.5-pro 模型的技术报告里则提到:"依托字节在推荐、搜索和广告领域的 AB Test 经 验,研发了基于 ...
她为何被雷军挖角
投资界· 2025-01-21 07:35
以下文章来源于南风窗 ,作者朱秋雨 南风窗 . AI小厂崛起。 作者 | 朱秋雨 来源 | 南风窗 (ID:shangyejingxiang) 2024年末,一个中国AI小厂,凭借过硬的技术,获得了全球铺天盖地的关注。 圣诞节过后,海外社交媒体以及技术论坛Github都在讨论一个最新发布的开源大模型, DeepSeek-V3。它被外国网友冠以名号——"来自东方的神秘力量"。 多个评测报告里,DeepSeek-V3在世界开源模型之中处在第一梯队,超过扎克伯格的 LLaMa 3.1。拿它比GPT-4o以及Claude 3.5两个最顶尖大模型也毫不逊色,甚至, 其在数学推理、代码生成和长文本处理等指标上,表现更强。 这还不是中国AI公司DeepSeek(中文名:深度求索)全部的"拿手好戏"。更让美国硅 谷等同行摸不着头脑的是,DeepSeek公布的53页技术报告显示,其训练顶尖大模型只 用了2048张H100的GPU集群,花费53天,共计耗费557.6万美元。有专业人员指 出,同等水平之下,世界AI大厂至少要用1.6万张以上的GPU,有的甚至需要10万张 GPU并行训练。 OpenAI早期成员安德烈·卡帕西感慨,D ...