scaling law

Search documents
Lex Fridman 对谈谷歌 CEO:追上进度后,谷歌接下来打算做什么?
Founder Park· 2025-06-06 15:03
久违的 Lex Fridman 又来采访 AI 行业的关键人物了。 这次是 Google CEO Sundar Pichai。过去半年,Google 凭借 Gemini 2.5 完成了 AI 竞赛的追赶,某种意 义上说,Google 和 OpenAI 现在站在了同一起跑线。 Lex 的播客一向聊的广且深,这次也不例外,Pichai 这一年的困境、核心产品搜索的未来方向、模型和 Sclaing Law,AI 编程、具身智能、AGI、ASI 还是 AJI 的探讨。 很多时候,问对了问题,好的采访就完成了一大半。Pichai 的回复,确实有蛮多干货。 2 小时多的播客,编译时我们做了一些删减。 原始播客: https://www.youtube.com/watch?v=9V6tWC4CdFQ&t=2711s TLDR: 超 6000 人的「AI 产品市集」社群!不错过每一款有价值的 AI 应用。 谷歌对于未来搜索的设想是,在搜索中部署了最强的模型,这些模型会围绕每一个查询执行多路 径检索,并整合信息,最终把用户引向真正有价值的内容。 随着 AI Mode 功能的成熟,谷歌会将其迁移到主页面上,可以看作是一个连续的统 ...
昇腾+鲲鹏双核暴击!华为打通MoE训练任督二脉再加速20%,内存省70%
雷峰网· 2025-06-04 09:31
令人惊喜的是,结果显示, MOE 训练在之前的基础上,吞吐又提升了 20% ,内存占用降低了 70% 。 这不仅是一次技术突破,更是引领 MoE 训练的风向标。 " Pangu Ultra MoE 的每一项突破,都体现了华为在AI底层技术 与工程化落地中的领先实力。 " 作者丨李希 最近,华为在 MoE 训练系统方面,给出了 MoE 训练算子和内存优化新方案:三大核心算子全面提速, 系统吞吐再提 20% , Selective R/S 实现内存节省 70% 。 在通往更强大的 AI 路上, MoE 已成为科技巨头另一个首选路径。 只要 Scaling Law 没有失效,大模型的参数规模依旧不断扩大,由此 AI 智能水平才能不断攀升。 凭借独特的架构设计, MoE 正以前所未有的参数规模,成为突破大规模模型训练的算力瓶颈的关键路径 之一。 然而,如何将 MoE 潜力真正转化为高效的训练实践,一直是业界探索的难题。 此前,华为曾通过 Adaptive Pipe&EDPB 框架,实现了集群级高效分布式计算,让通信和计算能完美并 行,提高训练集群效率。 本次,华为通过昇腾与鲲鹏算力的深度协同,进一步实现了训练算子计算 ...
全球“All in AI” 中国科技巨头生态“攻守”
2 1 Shi Ji Jing Ji Bao Dao· 2025-05-29 14:12
"魔童"哪吒作为《封神榜》的开篇人物,以阐教镇教之宝"灵珠子"所化,于母亲胎中孕育三年零六个月 方才降世——而在AI的故事中,若将DeepSeek比作横空出世的哪吒,那么孕育它的,恰恰是过去十年 中国互联网群英们共同打造的数字基建。 资讯,游戏,社交,电商,本地生活,短视频等等,曾经,巨头们打下了属于自己的"三分天下",划出 自己不可侵犯的生态边疆。虽然各大巨头在生态交接之处,攻守争夺仍然频繁,但总体格局至少相对稳 定。 而今年,他们全都瞄向一个方向,那就是AI。 布局AI,即是进攻,也是防守。AI可能是颠覆式的生态入口,倘若将咽喉拱手让人,无异于让自身在 竞争中门户洞开。因此外界普遍认为,2025年将是国内AI大厂们开启军备竞赛的一年。 然而,进入4月份后,当"大厂"们公布了最新一季的资本开支情况,我们却突然发现,所谓的"军备竞 赛",正在徐徐拉开序幕。 算力崛起 当我们谈及AI,Scaling Law(标度律或规模化法则)总是绕不开的问题。它大概描述了一个现象:要 发展AI,就要不断地堆砌算力。 今年年初,DeepSeek靠着卓越的工程能力横空出世。那时,AI的发展是否符合Scaling Law的疑问被频 ...
清华天才杨植麟的“理想国”,为何败给梁文锋?
凤凰网财经· 2025-05-28 12:51
以下文章来源于白鲸实验室 ,作者八尺 白鲸实验室 . AI时代的科技与商业文明观察 01 天才的标签之外杨植麟还是个资深文青。90后一代或多或少都曾迷恋过村上春树,1992年出生的杨植麟也不例外。在村上春树的一本小说中,杨植麟对一个 程序员深夜写代码这件事印象深刻,并充满憧憬,这为他未来进入AI领域埋下伏笔。 高中和大学时期他热爱摇滚,最喜欢的乐队是平克弗洛伊德。在清华读书期间,他创立了摇滚乐队Splay,曾晋级清华大学校园歌手大赛原创决赛。清华向 来有音乐传统,除了走出过高晓松和水木年华,杨植麟那位大名鼎鼎的学弟姚顺雨(任职于OpenAI),本科时创立了清华大学说唱社。 玩摇滚和说唱属于理科生的叛逆和浪漫。90后一代人的迷茫在于,这个时代留给他们的红利并不多,音乐恰好能宣泄这种愤懑的情绪。杨植麟的乐队创作过 一首歌,讲述有关"做了一个创业成功一夜暴富的白日梦"。对追求理想和获得金钱总是摇摆不定,正是青春期普遍的状态,渴望一夜暴富或许是抵挡理想主 义破灭的有效手段。 从时间坐标上来看,其实90后赶上过移动互联网红利期的尾巴。戴威是只比杨植麟大一岁的清华校友,2015年戴威的ofo共享单车正式上线,并在全球首 ...
杨植麟,一个90后理想主义者的悬浮
Hu Xiu· 2025-05-28 06:01
天才的标签之外,杨植麟还是个资深文青。90后一代或多或少都曾迷恋过村上春树,1992年出生的杨植 麟也不例外。在村上春树的一本小说中,杨植麟对一个程序员深夜写代码这件事印象深刻,并充满憧 憬,这为他未来进入AI领域埋下了伏笔。 高中和大学时期,他热爱摇滚,最喜欢的乐队是平克弗洛伊德。在清华读书期间,他创立了摇滚乐队 Splay,曾晋级清华大学校园歌手大赛原创决赛。清华向来有音乐传统,除了走出过高晓松和水木年 华,杨植麟那位大名鼎鼎的学弟姚顺雨(任职于OpenAI),本科时还曾创立了清华大学说唱社。 玩摇滚和说唱属于理科生的叛逆和浪漫。90后一代人的迷茫在于,这个时代留给他们的红利并不多,音 乐恰好能宣泄这种愤懑的情绪。杨植麟的乐队创作过一首歌,讲述了一个关于"做了一个创业成功一夜 暴富的白日梦"的故事。他们对追求理想和获得金钱总是摇摆不定,这正是青春期普遍的状态,渴望一 夜暴富或许是抵挡理想主义破灭的有效手段。 从时间坐标上来看,其实90后赶上过移动互联网红利期的尾巴。戴威是只比杨植麟大一岁的清华校友, 2015年,戴威的ofo共享单车正式上线,并在全球首创"无桩单车共享"模式,成为当之无愧的创业明 星。of ...
2024年中国人工智能产业研究报告
艾瑞咨询· 2025-05-23 09:42
人工智能产业丨研究报告 前言: 研究背景: 核心摘要 : 宏观环境 2024年,国家高度重视人工智能发展,将其纳入国家战略,各地政府积极推进科研创新与算力基础设施建 设,并因地制宜出台特色政策。尽管GDP增速放缓,AI技术作为新质生产力,凭借其在提升效率和推动产业 升级方面的优势,展现出广阔发展前景,政府支持也为其提供了强劲动能。资本市场持续关注AI,投资重点 聚焦于语言与多模态模型应用、芯片、算力服务等领域,基础层与应用层协同发展,不断完善产业生态。社 会层面,生成式AI的普及加速了市场教育,公众接受度显著提升,但就业替代、隐私安全等问题仍引发一定 焦虑。技术方面,Transformer架构依然主导大模型发展,研发侧 通过强化学习、思维链优化提升模型推理 能力, 同时加速跨模态融合,并在 推理效率优化和新型注意力机制等方面持续探索, 推动AI产业向更高水 平迈进。 产业动态 1)市场规模增速略低于预期:2024年中国AI产业规模为2697亿元,增速26.2%,略低于预期。主要原因为 大模型在实际业务场景的表现未完全满足客户需求,且建设成本较高,较多项目仍处于探索阶段。 2)算力需求结构性转变:2024年部分 ...
机器人“最强大脑”竞赛白热化:特斯拉、Figure押注空间智能
2 1 Shi Ji Jing Ji Bao Dao· 2025-05-22 12:54
21世纪经济报道记者邓浩上海报道近日,头部机器人相继发布新进展。 特斯拉在社交媒体发布一段做家务视频。展示了倒垃圾、用铲子搅拌锅、操作吸尘器、把物品放在置物 架上、打开柜门、拉窗帘等一系列简单家务能力。 Figure机器人则展示了一段工厂视频,称在宝马X3生产线完成连续20小时轮班作业。并表示已经持续数 周进行10小时轮班作业。 值得一提的是,特斯拉在视频中称,其所有机器人使用同一个神经网络模型训练。而且,这些家务技能 皆由真人视频学习而来,而非现在常用的VR动作捕捉学习。 "特斯拉应该不是只看视频就学会,因为产业中通常采用真机数据采集、仿真环境合成数据,进行具身 智能模型训练。因为视频是二维的,需要算法精准还原成三维、高精度比较难,而且视频缺乏物理属 性,比如机器人真正操作物体的时候,零件的重量、材质、内部结构等都是需要判断的。"快思慢想研 究院院长田丰对21世纪经济报道记者表示。头部机器人进展迅速 机器人正在成为一、二级市场的投资主线,相关商业动作不断,持续催化。 据记者不完全统计,仅5月以来,就有具身智能公司自变量机器人完成数亿元A轮融资,由美团战投领 投、美团龙珠跟投;华为与优必选正式签署全面合作协议 ...
超过霉霉,她拿下全球最年轻女富豪
创业家· 2025-05-16 09:55
以下文章来源于投中网 ,作者张雪 投中网 . 投中网是领先的创新经济信息服务平台,拥有立体化传播矩阵,为创新经济人群提供深入、独到的智识 和洞见,在私募股权投资行业和创新商业领域拥有权威影响力。官网:www.chinaventure.com.cn 持股公司估值突破1800亿。 作者:张雪 来源:投中网 35岁的泰勒·斯威夫特失去了"全球最年轻白手起家女亿万富翁"头衔,取而代之的是一位华裔 科技创业者,年仅30岁的Lucy Guo。 | 姓名 | 年龄 | 身家 | 国籍 | 财富来源 | | --- | --- | --- | --- | --- | | Lucy Guo | 30 | 12.5 | 美国 | 人工智能 | | 泰勒·斯威夫特(Taylor Swift) | 35 | 16 | 美国 | 音乐 | | 丹妮拉·阿莫迪(Daniela Amodei) | 37 | 12 | 美国 | 人工智能 | | 梅兰妮·珀金斯(Melanie Perkins) | 37 | 57 | 澳大利亚 | 软件 | | 蕾哈娜(Rihanna) | 37 | 14 | 巴巴多斯 | 化妆品、音乐 | | 卢依雯 ...
Tencent says it has enough high-end chips to train AI for 'generations' even if the US cuts it off
Business Insider· 2025-05-15 04:30
The Chinese tech giant Tencent said it has a "pretty strong stockpile of chips" to tide it through America's chip sale restrictions. The company's president, Martin Lau, was speaking to investors during an earnings call on Wednesday when he was asked how Tencent would deal with US chip restrictions.Lau said "it's a very dynamic situation" that Tencent is managing, and it's trying to "figure out the right solution" to make sure its AI strategy "can still be executed." Lau told investors that Tencent can ...
10万美元成本训练的小模型,在特定任务超越GPT-4o,延迟低99倍
3 6 Ke· 2025-05-14 09:45
现有的SOTA级别大语言模型固然拥有较强智能,在部分任务上达到或超过了人类的水准,但他们的参数尺寸动辄达到数千亿甚至万亿,无论是训练,部 署,还是推理,都成本高昂。对于企业和开发者来说,这些SOTA模型在一些相对简单,但需要大规模和高并发的任务上,未必是综合成本及性能的最优选 择。 一家叫Fastino的早期初创公司看到了这个痛点,使用低端游戏GPU,以平均不到10万美元的成本,训练出一系列称为"任务特定语言模型"(TLMs,Task- Specific Language Models)的小型模型,能够在特定任务上性能媲美大型语言模型,并且推理速度快99倍。 近日,Fastino获得由Khosla Ventures领投的1750万美元种子轮融资,Insight Partners,Valor Equity Partners,以及知名天使投资人前Docker首席执行官Scott Johnston和Weights & Biases首席执行官Lukas Biewald参与。在2024年11月,Fastino获得M12(微软旗下)和Insight Partners领投的700万美元前种子轮融资, 累计融资近2500万美 ...