世界-动作模型(WAM)综述:从预测未来到机器人闭环控制
一篇综述系统梳理了机器人领域的世界-动作模型(WAM),其核心是将未来状态预测与可执行动作生成连接起来,让预测服务于真实控制。综述将现有研究归纳为基于世界模型的强化学习、视频生成、潜在动作预训练和 VLA 模型四条路线,并覆盖机器人操作、导航、自动驾驶等应用及未来挑战。
一篇综述系统梳理了机器人领域的世界-动作模型(WAM),其核心是将未来状态预测与可执行动作生成连接起来,让预测服务于真实控制。综述将现有研究归纳为基于世界模型的强化学习、视频生成、潜在动作预训练和 VLA 模型四条路线,并覆盖机器人操作、导航、自动驾驶等应用及未来挑战。
AMD 以 82 亿美元收购 World Labs。World Labs 创始人李飞飞在反思博客中提到,公司自 2024 年成立以来构建了图像、视频与空间重建的模型训练团队,并通过收购 SceniX 推进机器人仿真能力。其近期发布的 Atlas 是一种全模态模型架构,从 2D 图像输入预测新视角,在稀疏重建这一计算机视觉长期难题上超过专用模型,可用于机器人强化学习环境、场景生成和现实世界重建。
推荐理由:AMD 以 82 亿美元收购 World Labs,读者可了解其空间智能与 Atlas 模型在机器人仿真等方向的能力积累。
Michael Levin 提出"Platonic mindspace"假说,认为心智是非物理模式,身体与机器只是这些模式进入物理世界的接口,并用 xenobots、anthrobots 及排序算法扰动实验作为佐证。本期 Import AI 还讨论了太空 TPU 与智谱启动外层 RSI 循环,并指出机器人领域正等待自己的 LLM 时刻,但尚缺通用算法。
微软研究院发布针对物理 AI 机器人推理基础设施的系统性研究,指出把推理全部放在机载 GPU 上会限制机器人性能、续航与扩展性,卸载到边缘或云端 GPU 则有明显收益。
推荐理由:微软对机器人推理负载的系统性测量显示,把推理从机载 GPU 卸载到边缘或云端可同时改善任务成功率与续航。
NVIDIA 在加拿大多伦多 ROSCon 大会上发布 Isaac ROS 5.0,这是一套基于 ROS 的 GPU 加速软件包集合,新增智能体工作流与平台支持,免费开源并已在 GitHub 提供。
推荐理由:Isaac ROS 5.0 把智能体工作流引入机器人开发,并列出多家厂商的落地方式,可据此判断开源机器人栈的演进方向。
NVIDIA 发布 Halos,称其为首个也是唯一面向物理 AI 的全栈安全系统,覆盖设计、验证与部署各层。
AWS 开源 SDK Strands Robots(Apache 2.0)演示了一条流式数据闭环:用 Robot("so100") 录制 LeRobotDataset 并同步到 Hugging Face Storage Buckets。
Google DeepMind 发布 Gemini Robotics ER 2,作为机器人的高层大脑,负责与人类对话、理解物理世界并规划多步任务,再把动作执行交给底层 VLA 模型,还可原生调用 Google Search 等工具。
推荐理由:官方给出视频理解、任务编排与多机器人协作的能力变化和开放入口,可据此判断机器人在真实环境中的任务完成方式。
Google DeepMind 发布 Gemini Robotics 2,作为新一代机器人的智能层,首次实现对完整人形机器人的全身控制,并带来更精细的手部与夹爪操作能力。
推荐理由:Gemini Robotics 2 把机器人控制从上半身扩展到全身,并给出多机协作与端侧快速适配的具体路径。
NVIDIA 发布 Cosmos-H-Dreams,一个面向手术机器人的实时、动作条件生成式模拟器,将 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型,并通过 FlashDreams 推理库提供服务。
Hugging Face 发布 Grabette,一套开源低成本的手持夹爪系统,用于记录机器人操作演示数据。它配备广角鱼眼相机和 RGBD 相机,分别负责策略视角与 6-DoF 轨迹追踪,硬件 BOM 成本约 490€,配套的机器人端夹爪 Gripette 约 120€。
推荐理由:原文给出低成本手持夹爪的完整开源方案与浏览器处理流程,读者可据此判断机器人数据采集门槛的变化。
Mistral AI 发布首个具身导航模型 Robostral Navigate,这是一个 8B 模型,仅用单个普通 RGB 相机、无需 LiDAR 或深度传感器,在 R2R-CE validation unseen 上达到 76.6% 成功率,比最佳单相机方案高 9.7 个百分点、比使用深度或多相机的最佳系统高 4.5 个百分点。
推荐理由:官方给出单目 RGB 相机在 R2R-CE 上的成绩与训练方法,可据此判断具身导航对传感器配置的要求。
Hugging Face 发布 LeRobot v0.6.0,围绕机器人学习闭环引入世界模型策略、奖励模型 API 和六个新仿真基准。
推荐理由:原文给出世界模型策略、奖励模型 API 与六个仿真基准,读者可据此判断机器人学习闭环的工程化程度。
Google DeepMind 推出为期三个月的 Robotics 加速器,从欧洲选出 15 家机器人初创公司,提供技术指导并开放其 AI 技术栈与 Gemini 机器人模型。入选企业覆盖物流、制造、医疗、气候与导航等领域,本周在伦敦启动。
Hugging Face 发布 LeRobotDataset v3.0,将多个 episode 打包进单个文件,并用关系型元数据在 episode 级别检索信息,解决 v2 单文件单 episode 在百万级数据集上的文件系统瓶颈。