Workflow
Scaling Law
icon
Search documents
「0天复刻Manus」的背后,这名95后技术人坚信:“通用Agent一定存在,Agent也有Scaling Law”| 万有引力
AI科技大本营· 2025-07-11 09:10
以下文章来源于CSDN ,作者万有引力 CSDN . 成就一亿技术人 嘉宾 | 范文栋 对话 | 唐小引 责编 | 郑丽媛 出品 | CSDN(ID:CSDNnews) 今年 3 月,Manus 的横空出世,引爆 了 新一轮 的 AI Agent 热潮 。 人们惊讶地发现,原本复杂繁琐的任务流,如今一个 Agent 就能自动规划、调用工具、执行操作,甚至还能主动 Debug 和自我修复——生成式 AI 从" 语言理解"向"任务执行"演化, Agent 也 不再是只能聊天的大语言模型,而是可以"动手做事"的数字助手 。 然而,在 这场技术热潮中,质疑与分歧也接踵而至:" Agent 的 Scaling Law 是否存在 "、" 通用 Agent 是否真的可行 " , 这些 问题 引发了广泛的 争议与探讨。一方面,部分研究者坚信,随着模型技术的进步,Agent 将能实现从特定任务向通用能力的跨越;而另 一 方面,也有声音指出 , 所谓 的"通用 Agent", 或许 只 是一套被过度期许的工程幻象。 为了解答这些技术 争议,由 CSDN 主办 的《万有引 力》栏目 在 全球机器学习技术大会 的现场特别邀请到了 C ...
对话千寻高阳:端到端是具身未来,分层模型只是短期过渡
晚点LatePost· 2025-07-10 12:30
具身的突破不会发生在实验室里,所以 "从伯克利到西二旗"。 文 丨 王与桐 编辑 丨 程曼褀 千寻智能的首席科学家、清华叉院助理教授高阳,像是个被写好程序、执行程序的人:他每天骑共享 单车上下班,固定时间健身,从不熬夜。他将做科研比作一套 Chain-of-Thought 推理流程,认为只要 每一步做对,结果就会自然导出。 但在具身智能这件事上,他愿意以创业者的身份,跳进充满不确定性的市场,因为随着大模型技术逐 渐成熟,高阳感受到,具身的突破已经不会发生在象牙塔里。于是他和在国内机器人行业工作了 20 年的 "老兵" 韩峰涛一起创办了千寻智能。 "就像 GPT-4 之前,OpenAI 也等待了几年," 高阳说,"我们现在正处于具身智能的 Scaling Law 时 刻,只是还需要四五年的沉淀。" 高阳本科毕业于清华自动化系,博士阶段在 UC Berkeley——被誉为具身智能 "黄埔军校"——师从计 算机视觉泰斗 Trevor Darrell,长期深耕机器人控制、强化学习与计算机视觉的交叉研究。 韩峰涛则曾在 2023 年初,在还没人相信具身智能时就在知乎撰文介绍具身智能。高阳说:"我见过的 产业方里,韩峰涛 ...
「Tokens是胡扯」,Mamba作者抛出颠覆性观点,揭露Transformer深层缺陷
机器之心· 2025-07-09 09:52
机器之心编译 原文作者:Albert Gu 编辑:陈陈、杜伟 「Tokenization(分词)是 Transformer 模型为弥补自身缺陷不得不戴上的枷锁。」 近日,Mamba 作者、CMU 助理教授、Cartesia AI 首席科学家 Albert Gu 撰写了一篇新博客,探讨了状态空间模型(SSM)和 Transformer 之间的权衡,并提出了这 样一种观点。 这篇博客改编自 Albert Gu 过去一年来多次进行的一场演讲。虽然演讲内容通俗易懂,面向比较广泛的受众群体,但其中的一些有趣的见解、观点和原理阐释,相 信对专业研究者也不乏启发价值。 在社交媒体 X 上,Albert Gu 抛出了「tokens are bullshit」的观点,并预告了接下来要发布的重大架构进展。 图源: https://x.com/_albertgu/status/1942615020111876248 评论区的很多网友赞成 Albert Gu 的观点,认为移除 tokenization 会在计算效率方面带来积极影响。 状态空间模型 本文首先定义了什么是状态空间模型(State Space Model,SSM)。 1. ...
为什么 AI 搞不定体力活——对话清华大学刘嘉:这才是生物智能最难攻克的“万里长征” | 万有引力
AI科技大本营· 2025-07-09 07:59
以下文章来源于CSDN ,作者唐小引 CSDN . 成就一亿技术人 作者 | 唐小引 出品 | CSDN(ID:CSDNnews) 1997 年,AI 正处于第二次寒冬,这次寒潮的时间有点长,从 20 世纪 90 年代直至 21 世纪的第一个十年。 寒冬之下,有人坚持,有人幸运,也有人不是那么地有运气。 李飞飞说:"我觉得自己是世界上最幸运的人,因为我的整个职业生涯始于 AI 寒冬的末期,也就是 AI 开始腾飞的时候,所以我真的非常幸运,也有点 自豪。" 而在现任 清华大学基础科学讲席教授、 心理与认知科学系主任、人工智能学院教授、 北京智源人工智能研究院首席科学家 刘嘉 的世界里,则不一 样。 1997 年,对人工智能深感困惑的青年刘嘉远赴美国麻省理工学院 ( MIT ) 深造,慕名拜访 人工智能之父马文·明斯基 ( Marvin Minsky ), 想要从这位鼎鼎大名的 AI 教父身上寻求良方。 明斯基很 Nice,完全没有任何架子,让刘嘉前往 MIT 人工智能实验室面谈。但面谈的结果却让刘嘉备 受打击," 我记得当时人工智能实验室在 MIT 是一栋很高的楼,我 上去的时候是仰视 ,终于到了那种殿堂级的地 ...
Mamba一作预告新架构!长文论述Transformer≠最终解法
量子位· 2025-07-09 04:57
一水 发自 凹非寺 量子位 | 公众号 QbitAI Mamba一作最新大发长文! 主题只有一个,即探讨两种主流序列模型—— 状态空间模型(SSMs)和Transformer模型的权衡之术 。 简单介绍下,Mamba就是一种典型的SSMs,它建立在更现代的适用于深度学习的结构化SSM基础上,与经典架构RNN有相似之处。 在最受关注的语言任务上,Mamba-3B超越同等规模的Transformer,与两倍大的Transformer匹敌,因此 被视为Transformer架构的有力挑 战者 。 现在,Mamba一作将自己去年的几场演讲整合成一篇科普长文,向大众分享了如下观点: 而且他还提前剧透, 几天后将发布"架构领域的下一个重大进展" 。 虽然还不知道具体内容,但他目前扔出来的消息已经足够大家抓耳挠腮一段时间了。 因为他提到了一个重要观点—— 注意力机制的缺点实际上并不是它的二次复杂度 。 要知道之前大家都认为,ChatGPT等大模型之所以处理长文本算力消耗巨大,背后原因是Transformer架构中注意力机制的二次复杂度。 而现在,这样的共识或许即将被推翻~ 不过好消息是, 即将推出的新架构能够和Transf ...
训练自2.67亿个单细胞数据的AI虚拟细胞模型——STATE,无需实验,预测细胞对药物或基因扰动的反应
生物世界· 2025-07-07 03:17
近日, Arc 研究所 发布了其 第一代虚拟细胞模型—— STATE ,该虚拟细胞模型旨在 预测各类干细胞、癌细胞和免疫细胞对药物、细胞因子或基因扰动的反 应。 STATE 模型基于 1.67 亿个细胞的观察数据以及超过 1 亿个细胞的扰动数据进行训练,这些数据涵盖了 70 种细胞系。该论文已于近期发表在了预印本平台 bioRxiv 上。 撰文丨王聪 编辑丨王多鱼 排版丨水成文 人体是由 细胞 (Cell) 构成的马赛克,其中,免疫细胞通过增强炎症来对抗感染;干细胞可以分化成各种组织;癌细胞避开调控信号而无节制地分裂。然而,尽 管这些细胞之间存在显著差异,但这些看上去截然不同的体细胞都携带着 (几乎) 相同的基因组。 细胞的独特性不仅源于 DNA 的不同,更在于每个细胞对 DNA 的使用方式。换句话说,细胞的特性源自基因表达的变化,即基因在不同时刻的"开启"和"关闭"。 细胞的基因表达模式——以 RNA 分子的形式体现,而 RNA 分子本身又是从 DNA 转录而来,基因的表达不仅决定了细胞的类型,还决定了细胞的状态:细胞基 因表达的变化可以揭示细胞如何从健康状态转变为炎症状态,甚至癌变。通过测量有或无化学或基 ...
原来Scaling Law还能被优化?Meta这招省token又提效
机器之心· 2025-07-06 03:49
机器之心报道 编辑:Panda 2017 年,一篇《Attention Is All You Need》论文成为 AI 发展的一个重要分水岭,其中提出的 Transformer 依然是现今主流语言模型的基础范式。尤其是在基于 Transformer 的语言模型的 Scaling Law 得到实验验证后,AI 领域的发展更是进入了快车道。 现如今,这篇论文的引用量正向 19 万冲刺,而 Transformer 和注意力机制本身也已经历了很多改进和创新,比如我们前段时间报道过的「 Multi-Token Attention 」 和「 Multi-matrix Factorization Attention 」等。 随着 AI 的不断发展,现如今的一个重要挑战是如何获得足够多高质量的 token。又或者,该如何更高效地利用这些 token?为此,还必须对 Transformer 进行进一 步的升级改造。 该研究基于 RoPE 向三线性函数的泛化;而 2-simplicial Transformer 则源自 2019 年 Clift et al. 的研究《Logic and the 2-Simplicial Tran ...
深度|Sam Altman:创业者不要做OpenAI核心要做的事,还有很多领域值得探索,坚持深耕可长成比OpenAI更大的公司
Z Potentials· 2025-07-03 03:13
图片来源: Y Combinator Z Highlights Sam Altman 是美国著名创业者和投资人,曾任 Y Combinator 总裁,现任 OpenAI CEO 。他致力于推动人工智能发展,强调技术与社会责任并重。 本次对 话为 Sam Altman 与 Y Combinator 合伙人 Garry Tan 的对谈。 初心与人才汇聚 G arry Tan : Sam ,非常感谢你能来,也谢谢你带来的种种启发。 OpenAI 本身就是一个激励无数雄心勃勃创业者的存在。我们就从这开始吧:在 OpenAI 早期,有哪些看起来无足轻重、但后来证明至关重要的决策? Sam Altman : 记忆功能 是我今年最喜欢的一个发布。 OpenAI 内部可能很多人不这么想,但我真的很喜欢它。它指向我们真正想去的地方:一个了解 你、连接你所有内容、并主动帮助你的个人 AI 。它不会只是等待你来提问,而是始终运行在后台,知道什么时候提醒你,什么时候替你完成任务。它将嵌 入你使用的每一项服务中。记忆,就是这个未来的第一道入口。 Sam Altman : 其实,最重要的决策之一就是 " 决定要做 " 这件事本身。我们差 ...
AI下半场,大模型要少说话,多做事
Hu Xiu· 2025-07-01 01:33
本文来自微信公众号:中国企业家杂志 (ID:iceo-com-cn),作者:闫俊文,原文标题:《对话中国 信通院魏凯:AI下半场,大模型要少说话,多做事》,头图来自:AI生成 今年2月DeepSeek爆火,震惊国内外。实际上,在此之前,中国信息通信研究院(下称:中国信通院) 的大模型评测团队就观察到国内模型性能迅速提升的势头,他们当中就包括中国信通院人工智能研究所 所长魏凯。 魏凯说:"2024年一年,国内包括DeepSeek在内的多个大模型团队,一直从多角度努力,不断提升模型 性能,基本上每个月都能看到新的进展。在我们的测试中,DeepSeek在2024年4月的模型性能排名还比 较靠后,8月的版本已经是TOP10里的玩家了,到了10月的版本已经是前几名了,12月发布的DeepSeek- V3成为当时基础能力第一名的模型,而且是开源的,非常了不起。" 2024年底,工业和信息化部成立人工智能标准化技术委员会,魏凯任秘书长,主持日常工作。 6月底,《中国企业家》专访了魏凯,作为资深专家,他对大模型以及当前最火的Agent有独特的看法, 以下是访谈的内容详情(有删减): 一、DeepSeek一直在优化 《中国企业 ...
公布最新研究!这次1XWorldModel如何颠覆人形机器人领域?
机器人大讲堂· 2025-06-29 03:53
2024年9月,1X Technologies (以下简称 "1X")发布全球首个人形机器人世界模型 1X World Model首证 Scaling Law(人形机器人数据显著增强扩展定律) 。 前不久, 1X对外公布了其世界模型在技术迭代和应 用场景上取得的多项突破,再度成为行业焦点。 据具身智能大讲堂了解, 1X World Model 是一种可以模拟现实世界在智能体作用下如何演变的生成式视频 模型, 其基于视频生成技术( Sora)和自动驾驶世界模型(端到端自动驾驶,E2EAD)构建形成,能够 通 过输入图像状态与动作指令 模拟出机器人在不同动作下的未来场景,预测机器人和操作对象之间的交互效 果,帮助人形机器人完成精准交互,解决具身机器人评估难题。 本次 1X World Model 最新突破集中在 三个方面: ▍ 动作可控性:从基础动作响应到复杂物理场景精准模拟 首次公开的 1X World Model具备根据不同动作命令生成不同结果的能力 , 通过展示以四种不同轨迹为条件 对世界模型进行的不同生成过程,且每条轨迹都从相同初始帧起始,清晰地呈现了其多样化生成特性。 在模拟物体间交互这一核心价值体现上 ...