Workflow
Transformer架构
icon
Search documents
基于能量的Transformer横空出世!全面超越主流模型35%
量子位· 2025-07-08 07:30
时令 发自 凹非寺 量子位 | 公众号 QbitAI AI无需监督就能学习思考? 弗吉尼亚大学团队最新提出 EBT(Energy-Based Transformers)架构 ,通过全新能量机制,首次实现在跨模态以及数据、参数、计算量 和模型深度等多个维度全面超越Transformer++(基于Llama 2的Transformer优化版本)的模型。 在离散(文本)和连续(视觉)模态下,EBT在数据量、批次大小、参数量、计算量和模型深度等方面比Transformer++提升了约35%。 EBT是基于EBM(Energy-Based Models)原理发展而来的具体模型架构。 这让模型具备了像人类一样"想清楚再回答"的能力。 在推理过程中,EBT在测试时也比Transformer++提高了29%。 那么,这种模拟人类思考模式的新架构EBT,到底是如何实现的呢? EBT方法:基于能量的Transformer EBT通过 能量最小化过程 模拟思考:从随机预测开始,通过梯度下降反复优化,直到能量收敛,从而动态决定"思考步数"。 它通过学习一个 能量函数 ,为每一种输入配置分配一个标量值。 能量越低,表示输入变量之间的兼 ...
特斯拉、英伟达机器人背后的“卖水人”
虎嗅APP· 2025-07-06 03:31
Core Viewpoint - The article discusses the rise of embodied intelligence and the critical role of data providers, like CyberOrigin, in the robotics industry, emphasizing that data is the new oil for the development of humanoid robots [3][5][23]. Group 1: Industry Trends - The emergence of embodied AI has led to significant interest from major companies like Tesla and NVIDIA, which are now focusing on humanoid robot development [11][20]. - The Transformer architecture has revolutionized the robotics field by enabling better spatial understanding and generalization capabilities, allowing robots to learn from vast amounts of data [12][13][14]. Group 2: Company Insights - CyberOrigin, founded by Yin Peng, aims to become a leading data supplier for humanoid robots, focusing on real-world interaction data rather than just hardware [5][22]. - The company has established partnerships with major AI firms and is actively collecting millions of hours of real-world data to enhance robot training [25][26][29]. Group 3: Data Importance - Data is essential for the evolution of both the physical robot and its cognitive capabilities, with the analogy that models are engines while data is the fuel [23][24]. - The company prioritizes collecting real-world data over synthetic data, believing that authentic data significantly improves model training outcomes [26][27]. Group 4: Challenges and Opportunities - The robotics industry is currently in a chaotic phase, with many new entrants recognizing the value of data, leading to increased competition [51]. - The company acknowledges the long commercial chain in the robotics sector but believes that data can quickly form a commercial loop, making it a strategic focus [22][23].
华尔街嗅到量子投资机遇 热门“量子计算概念股”Rigetti Computing喜获“增持”
Zhi Tong Cai Jing· 2025-07-02 14:20
在美股市场近年来热度极高的"量子计算概念股"Rigetti Computing(RGTI.US)周三受到全球资金重点关 注,主要因美国商务部长卢特尼克曾经掌舵的华尔街顶级投资机构——坎托·菲茨杰拉德(Cantor Fitzgerald)启动对这家量子计算科技公司的首次评级与目标价覆盖。该机构首次覆盖Rigetti,乃华尔街 看涨量子科技股概念公司股价与基本面前景的最新信号,意味着华尔街开始察觉到量子计算这一超级前 沿赛道实现强劲投资收益的机遇,甚至押注量子科技有可能在不久之后出现重大商业化应用层面突破的 积极前景。 据了解,华尔街机构Cantor Fitzgerald给予"增持"评级,并将目标价定为 15 美元。在美股盘初交易中, 该股在华尔街覆盖的催化之下吸引大规模资金涌入,盘初的上涨幅度一度高达6%至12美元大关。 Cantor Fitzgerald分析师 Troy Jensen 在致客户的一份最新报告中写道:"全球量子计算仍处于最初的萌芽 阶段,但依旧是最受追捧的技术里程碑之一,未来势必将具有巨大的经济影响。" Jensen领导的分析师团队补充表示:"虽然距离全球全面的量子计算商用能力可能还有数年时间, ...
画到哪,动到哪!字节跳动发布视频生成「神笔马良」ATI,已开源!
机器之心· 2025-07-02 10:40
为了解决这一问题,字节跳动提出了 ATI ——一种全新的、以「轨迹为指令」的可控视频生成框架。 ATI 的核心理念是: 将用户在输入图像上手绘的任意轨迹,转化为驱动物体与摄像机运动的显式控制 信号,并以统一的潜在空间建模方式注入视频生成过程。 这使得视频创作从「参数调控」转变为「可 视化创意」,让用户「画到哪,动到哪」,以直观方式实现帧级精准控制。 Angtian Wang 是字节跳动的研究员,研究方向包括视频生成、3D 视觉、differentiable rendering。 博士毕业于约翰霍普金斯(Johns Hopkins University)大学。师从 Dr. Alan Yuille。 近年来,随着扩散模型(Diffusion Models)、Transformer 架构与高性能视觉理解模型的蓬勃发 展 , 视 频 生 成 任 务 取 得 了 令 人 瞩 目 的 进 展 。 从 静 态 图 像 生 成 视 频 的 任 务 ( Image-to-Video generation)尤其受到关注,其关键优势在于:能够以最小的信息输入生成具有丰富时间连续性与空间 一致性的动态内容。 然而,尽管生成质量不断提 ...
盘一盘,2017年Transformer之后,LLM领域的重要论文
机器之心· 2025-06-29 04:23
机器之心报道 机器之心编辑部 这两天 Andrej Karpathy 的最新演讲 在 AI 社区引发了热烈讨论,他提出了「软件 3.0」的概念,自然语言正在成为新的编程接口,而 AI 模型负责执行具 体任务。 Karpathy 深入探讨了这一变革对开发者、用户以及软件设计理念的深远影响。他认为,我们不只是在使用新工具,更是在构建一种全新的计算范式。 回顾 LLM 的发展历程:自 2017 年 Transformer 架构问世以来,我们见证了 GPT 系列的一路高歌猛进,以及多模态能力和端侧应用的全面开花。整个 领域正以前所未有的速度演进。 要深入理解这场变革的本质,我们需要回到技术的源头。那些奠定今天 AI 能力的关键论文,不仅记录着算法的演进轨迹,更揭示了从传统编程到自然语言 交互这一范式转变的内在逻辑。 此前我们通过 50 个核心问题回顾了 LLM 的基础概念 。今天,我们将梳理自 2017 年以来 LLM 领域的重要论文。本文从 X 用户 Pramod Goyal 的论文 盘点中精选了 22 篇进行详细介绍,其余论文将在文末列出供读者参考。 奠基理论 Attention Is All You Need ...
你的扫描全能王,作价217亿冲刺港股IPO
量子位· 2025-06-27 10:57
杰西卡 发自 凹非寺 量子位 | 公众号 QbitAI 一招鲜,吃遍天。 你在用的名片全能王,现在要冲刺港股"智能文字识别第一股"了! 名片全能王、扫描全能王母公司——上海合合信息科技 (以下简称"合合") ,最近刚在港交所递交招股书。 这不是合合第一次涉足资本市场,2024年9月26日,合合已经在A股科创板上市,发行价55.18元,上市首日收盘价113.62元,市值达113.62 亿。 整整9个月后,合合计划以217亿市值,再度赴港递表,冲刺"A+H"双重上市。 2024年,合合营收14.38亿元,净赚4亿,毛利率高达84.3%。 同年C端产品的月活跃用户数达1.71亿,在全球C端效率类AI"超级APP"公司中,合合排第五。 前四是谁?你再熟悉不过了: OpenAI、谷歌、Adobe和微软 。 不止"全能王",原来你还会这么多? 在招股书中,合合的定位是一家人工智能及大数据科技企业,专注多模态大模型文本智能技术。 其核心业务同时面向 C端 和 B端 ,并分别推出了产品组合。 先看C端,核心产品你可能已经很熟悉, 扫描全能王、名片全能王、启信宝 都出自合合。 前两款产品,属于智能文字识别类型,在不同场景提供文 ...
上海AI Lab主任周伯文:关于人工智能前沿的十个问题
机器人圈· 2025-06-26 10:46
详细会议介绍参看往期文章: (点击蓝字跳转) 报名开启|顶流期刊征+2025智能机器人关键技术大会盛会将至! 展览展示|抢位2025智能机器人关键技术大会!高曝光商务合作虚位以待,共赴解锁新机遇 以下文章来源于上海人工智能实验室 ,作者Shanghai AI Lab 上海人工智能实验室 . 上海人工智能实验室是我国人工智能领域新型科研机构,开展战略性、原创性、前瞻性的科学研究与技 术攻关,目标建成国际一流的人工智能实验室,成为享誉全球的人工智能原创理论和技术的策源地。 9大期刊联合征文|投稿2025智能机器人关键技术大会,年底正刊发表! "对发现问题的投入,与解决问题同样重要。" 这是 上海人工智能实验室主任周伯文 在首届明珠湖会议所作开场报告中的核心观点之一。 在报告中,周伯文还提出关于人工智能前沿的十个问题: 1. 总体智能 vs 单位智能:如何平衡智能发展的质量与效率? 2. Deep RL规模化发展的资源悖论:如何平衡"数据合成"和"算法训练"两大任务的算力分配? 3. 软硬协同创新:软件向硬件适配,还是硬件向软件兼容? 4. 算力受限的影响:针对应用、迭代和颠覆性的技术,算力应如何配置? 10. 颠 ...
致敬钱学森,我国学者开发AI虚拟现实运动系统——灵境,解决青少年肥胖难题,揭示VR运动的减肥及促进大脑认知作用机制
生物世界· 2025-06-24 03:56
青少年肥胖 已成为全球性的公共卫生危机,其发病率正迅速上升。青少年时期的肥胖会增加患心血管代谢疾病的风险,并导致持久的认知变化。此外,青少年的 大脑尤其容易受到肥胖相关认知障碍的影响,这可能会损害诸如工作记忆之类的执行功能。 尽管体力活动 ( Physical Activity,包括 工作、家务、体育运动、娱乐活动等导致能量消耗的身体活动 ) 是一线治疗方法,但诸如运动积极性低、不良的同伴 经历以及难以获得个性化指导等障碍限制了青少年参与体力活动的意愿和实际参与度。因此,安全且富有同理心的运动干预措施对于鼓励肥胖青少年参与体力活 动至关重要,这能带来显著的健康益处。 撰文丨王聪 编辑丨王多鱼 排版丨水成文 2025 年 6 月 23 日, 上海 交通大学医学院附属 第六人民医院 /主动健康战略与发展研究院 李华婷 教授团队 、 上海交通大学计算机学院/人工智能教育部重点 实验室 盛斌 教授团队联合 上海体育大学 王继红 教授团队 、 上海科技大学 /上海临床研究中心 曾嵘 教授团队 及新加坡国立大学 林水德 教授团队 ,在国际顶 尖医学期刊 Nature Medicine 上发表了题为: Adaptive A ...
Transformer 在具身智能“水土不服”,大模型强≠机器人强
3 6 Ke· 2025-06-18 11:55
嘉宾 | 胡亮、王鹏伟 对话 | 唐小引 2025 年被业界称为"具身智能元年"并非偶然。 自年初以来,一系列现象级事件不断将具身智能推向公众视野:从春晚开始,宇树机器人频频登上热 搜,逐渐风靡全国并走向世界;一众技术"大佬"纷纷投身机器人创业,大批创业项目集中涌现,几乎所 有人都在下注——通用机器人的时代,仿佛触手可及。 但在热潮背后,泡沫的质疑也不绝于耳。英伟达 CEO 黄仁勋的一句"通用机器人时代已经到来",在全 球技术圈引发舆论轰动。然而,另一边知名投资人朱啸虎却宣布"正批量退出人形机器人公司",引发外 界对这个赛道可持续性的担忧。 那么,具身智能到底进展如何?在技术理想和工程现实之间,它面临着哪些关键挑战?是模型不够强、 数据不够多,还是架构不够灵活?从"整花活"到"干真活",中间到底还隔着多远的距离? 带着这些问题,由 CSDN 主办的《万有引力》栏目特别邀请到了两位深耕 AI 与机器人领域的一线专 家:同济大学计算机科学与技术学院教授、博导胡亮,智源具身智能大模型负责人、RoboBrain 与 RoboOS 负责人王鹏伟做客直播间,在 CSDN &《新程序员》执行总编、《万有引力》主理人唐小引的 ...
一文了解DeepSeek和OpenAI:企业家为什么需要认知型创新?
混沌学园· 2025-06-10 11:07
在这个 AI技术日新月异的时代,我们眼看着它不仅在改变生活,更在 改变着 商业规则。 AI可不只是那些冰冷的算法,它现在能像人一样思考、推理,甚至在某些方面 的表现超越了普通人 。这告诉我们,传统的技术和创新模式已经不够用了, 企业要想增长、要保持竞争力,就 需要 换个思路。 AI正在重新定义我们理解和实践商业创新的方式。 最近 , 混沌君旁听了 混沌学园的创始人李善友教授 的重磅 全新课程《认知型创新:从 OpenAI到DeepSeek》 。 这门课从企业创新的角度, 讲述了 全球两大顶尖 AI公司——OpenAI和DeepSeek是如何一步步走到今天的,他们究竟走过了怎样的创新之路。这对于我 们理解AI时代的技术创新和企业创新,提供了清晰且极具价值的路径。 教授 深挖 了 OpenAI最初的愿景和它如何对抗巨头的思路,解密大语言模型是如何诞生的 , 尤其是 AI能力如何从简单积累到惊人"涌现" 。 还 解读 了 DeepSeek如何在资源有限的情况下,走出一条"低成本高性能"的独特道路;更探讨 了 AI时代下,企业应该怎样构建一个能不断"涌现"创新的组织模式, 走向"技术领先"。 扫描下图二维码购买月卡 ...