世界动作模型
共 13 篇相关内容
港大、港科广、北大等五校团队联合发布 AffordanceWAM，靠可供性激活真人训练视频
AffordanceWAM 的核心突破，是将「物体可交互位置与方式」的可供性，纳入世界动作模型的显式预测目标，彻底解决真人第一视角视频难以适配机器人训练的行业痛点，让原本容易造成负迁移的真人数据，转变为可规模化扩展的有效监督信号。 9 月 …
谷歌发布 Genie 4，Genie 系列首次原生生成音频
北京时间 10 月 28 日凌晨，谷歌 DeepMind（Google DeepMind）在官方博客发布新一代世界模型 Genie 4，谷歌官方博客同步发文介绍，谷歌 CEO Sundar Pichai 同时在 X 上发帖宣布。能实时交互、…
8B 负责推理，8B 负责「想象」：达摩院给机器人搭了个什么大脑？
主：8B 负责推理，8B 负责「想象」：达摩院给机器人搭了个什么大脑？ 副：大模型，开始用视频打草稿 小红书正文 对于机器人来说，脑补被遮挡的物体实在太难了。10 月 23 日，阿里巴巴达摩院团队联合湖畔实验室发表论文《迈向统一具身大脑》（…
获 9,000 万美元种子轮融资，Dream Labs 同步亮相了新模型
获 9,000 万美元种子轮融资，Dream Labs 同步亮相了新模型 10 月 19 日，机器人 AI 公司 Dream Labs 宣布完成 9,000 万美元种子轮融资，同步推出机器人基础模型 Dream 1 和公开 API。本轮融资…
同一天两篇论文，复旦大学付彦伟团队：机器人先行感知，接住新视角下的动作
同一天两篇论文，复旦大学付彦伟团队：机器人先行感知，接住新视角下的动作 机器人伸手抓取被杂物遮挡的杯子，最直观的解法就是转动腕载相机重新观测。但相机转动会同步改变机械臂构型，策略将面临训练期间从未见过的初始状态，图像、位姿与剩余任务之间的关…
英伟达 Jim Fan 团队新作：只拉长历史解决不了 WAM 短板，核心需靠自回归预测
Long WAM 发现「能拿到历史」不等于「会用历史」：只有视频底座先以自回归方式学会从过去推未来，拉长上下文才能真正实现性能上涨。基于这一结论，团队将这套世界动作模型打造为可在边缘设备实时运行的系统。上下文时长从 0 秒拓展至 19.2 …
贾奎团队新作：让世界动作模型真正理解三维空间
UNITAS 将观测、动作与场景变化统一至同一个米制三维坐标系：以点轨迹表征人手与夹爪的运动，用场景流描述场景点的位移，让世界动作模型不再单纯依靠图像推测环境演化。模型参数量仅 1.7 B，在 LIBERO 基准测试上取得 99.8 % 任…
清华赵行团队与北大刘珂团队发布 SkelWAM，用骨架让策略零样本跨十种机械臂
SkelWAM 实现了在一台机器人上训练好的操作策略，可以直接部署到其他不同结构的机器人身上。研究团队设计了一套统一手臂骨架的公共几何表征。模型接收视觉画面，读取本体状态，预测后续动作，全部基于这套表征。策略只在 Franka 上训练，迁移…
理想汽车基座模型团队提出 ME-Dex 1.0，让触觉和画面一起预测未来
ME Dex 1.0 让机器人在输出动作前，预先计算下一步会产生的接触状态。理想汽车基座模型团队将视觉、触觉、动作三路专家模块整合进同一个去噪框架；触觉与图像一样，被视作需要预测的未来观测。团队还借助手部模板，把不同灵巧手、夹爪的触觉信息对…
星海图赵行：机器人的下一次 Scaling，不只发生在预训练
机器人抓起一个商品，只能说明它会做一个动作。展台上的机器人完成一次抓取，与它进入前置仓持续接单、拣选和打包，是两种不同的考验。 前者可以被压缩成一条成功轨迹，后者却要求机器人理解订单、定位货架、自主导航、处理随机摆放的商品，还要在多机协同时…
杨立昆点赞，浙大孙俊涵、清华赵昊等提出 INTACT：免去 JEPA 世界模型的「搜索税」
世界动作模型的核心在于，先预测「下一步发生什么」，并为其设立目标，再让机器人看一眼目标，自己决定执行的每一步该做什么。 然而当前的主流方案有一个别扭的设计：训练时，模型学会「给定当前画面和动作，预测接下来发生什么」；部署时，控制器却从随机噪…
首次！北大、南洋理工等 30 位研究者联手厘清具身数据金字塔
7 月 28 日，来自北京大学、南洋理工、港科大、新加坡国立、港大、上海交大等十余所机构的近 30 位研究者联合发布了一篇 72 页长文综述《Data Pyramid for Embodied Manipulation》。该综述通过一个五层…