1. 动作表示效率低 ：传统连续动作离散化方法（如均匀分桶）难以捕捉复杂时空动态，导致长时域任务 中累积误差增大 2. 数据依赖瓶颈 ：真实机器人数据采集成本高，限制模型泛化能力 点击下方 卡片 ，关注" 具身智能 之心 "公众号 作者丨 Yating Wang等 编辑丨具身智能之心 本文只做学术分享，如有侵权，联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要 的。 背景 视觉-语言-动作模型（VLA） 在多模态机器人控制中面临两大挑战： 核心贡献 通用动作分词器框架 ：提出基于卷积残差VQ-VAE的通用动作分词器框架，替代传统分桶离散化方法。 合成数据驱动缩放 ：首次证明动作轨迹的合成-真实域差异极小（ Table 3 显示纯合成数据训练的VQ 在真实任务接近混合数据性能），利用超大规模合成数据（100倍于先前工作）训练分词器。 性能全面优化 ：显著提升VLA模型的三项核心指标： 成功率 ：长时域任务成功率最高提升30%（真实机器人实验 Figure 3 ） 关键技术方案 1. 卷积残差VQ-VA ...

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI LeCun在干嘛呢？ 就在扎克伯克亲自带队Meta的AI项目，千亿薪酬挖得硅谷人心浮动之际。Meta在AI领域最负盛名的大佬、图灵奖得主、深度学习三巨头之一 的Yann LeCun，却几乎声量全无，他没有参与LLM基础模型的研发，也开始在社交网络上消停了。 LeCun是要离开Meta了吗？ 不不不。他可能只是在憋自己想追逐的大招，比如——世界模型。而且就在最近，LeCun团队的世界模型新进展来了。 名叫 PEVA模型 ，新突破是让具身智能体学会这人类一样的"预判能力"，首次实现16秒连贯场景预测。怎么说呢？就像人类伸手时会预判手 臂进入视野的角度、走路时会提前观察脚下路径，LeCun团队的最新模型，可以让机器人实现这样的能力。 该模型通过 结构化动作表示将 人体48维关节运动学数据与 条件扩散Transformer 结合。 利用VAE编码视频帧、自适应层归一化嵌入动作条件及跨历史帧注意力机制等，实现了从全身动作 预测第一视角视频 的高精度生成与长期时 序连贯。 PEVA模型让具身智能体不再依赖"上下左右"这种抽象信号进行训练，而是以 第一人称视角的视频+全 ...

本文只做学术分享，如有侵权，联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要 的。 点击下方 卡片 ，关注" 具身智能 之心 "公众号 作者丨 Tony Z. Zhao等 编辑丨具身智能之心 今天学习下从业人员都绕不开的 ALOHA 的这个文章，该文章分为硬件 ALOHA 部分，和算法 ACT 部分。 算是 23 年的古早时代的论文了（深感这行业还是需要软硬件都学习的） 什么是 ALOHA？ A L ow-cost O pen-source Ha rdware System for Bimanual Teleoperation. 一种低成本开源的双臂遥控操作系统 论文：Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware paper：https://arxiv.org/abs/2304.13705 项目网站：https://tonyzhaozh.github.io/aloha/ 成本小于 20k 美刀 支持两种模式： m ...

[Music] [Applause] I invite you today to create together with me some hope that we can give back to our oceans because we do so owe so much to our oceans. The oceans they gave us all life on earth. The ocean nourishes us with its food and its fish.The ocean provides the air we breathe by producing oxygen. And it also gives us a very nice leisure activities like diving or surfing or it's a lot. But the ocean cannot do this alone.The ocean also depends on something and that's its ecosystems. And two very impo ...