视觉语言模型
共 14 篇相关内容

英伟达提出 ThinkWorld,把动作写成链,用想象的未来判对错
机器人演示采集成本高,覆盖的场景和动作有限。互联网上虽然有大量人类第一视角视频,却零散杂乱,也没有机器人可以直接执行的动作标签。VLA 怎样吸收这些视频里的操作经验? 针对这个问题,英伟达联合 KAIST(韩国科学技术院),于 10 月 2…

依托世界模型倒带复盘,智元 Rollback 让单台真机 8 小时追上人类均值
机器人一旦做错决策,能不能退回节点换个动作重新尝试? 这在现实物理世界很难,就像积木塔一旦倒塌,不会自己复原。机器人每试错一次,都要人工重置场景、把道具摆回初始状态,才能开启下一轮试验。 大量时间和成本都耗在场景复位上,这正是实体机器人强化…

智元升级 Genie Sim,柔性仿真贯通训练与评测
叠毛巾、收紧束口袋,对人来说是简单操作,对机器人却并不容易。布料和绳索会随着抓取、挤压持续变形,接触和摩擦也会改变后续操作条件。仿真如果无法还原这些变化,机器人就可能在虚拟环境中表现良好,到了真实环境却操作失败。 10 月 28 日,AI …

清华系创业公司新作:机器人看了 100 万小时人类操作,学会自己想办法
螺丝、包装袋、瓶盖,这些日常物件全都是为人手设计,但机器人的末端执行器大多还停留在两指夹爪。想要打造能在真实世界落地的通用机器人,灵巧手操作是绕不开的一关,而真正的瓶颈在于操作经验。通用模型需要见过足够丰富、大规模的真实操作样本,可机器人只…

传 DeepSeek 将投入具身智能赛道,中美基础大模型公司齐现重大信号
10 月 12 日夜,有消息传出 DeepSeek 创始人梁文锋近期密切关注具身智能领域,DeepSeek 正在评估是否进入具身智能赛道,方案可能包括亲自组建团队下场研发,或通过投资相关企业切入。另据彭博社报道,DeepSeek 计划领投腾…

中科院自动化所与高德团队提出 DreamTrue,将机器人动作统一渲染为画面条件,实现高精度未来视频预测
DreamTrue 将机器人动作渲染为画面内的机器人作为训练条件,为世界模型补充示范数据中缺失的失败动作,并依托人工标注训练得到的奖励模型开展强化学习。当动作执行失败时,模型能够如实预测对应的结果,它在 AgiBot 平台上将交互缺陷率从 …

对话 StageCraft 作者,聊一聊 VLA 从本体迁移到环境变化差在哪
今年 IEEE/RSJ 智能机器人与系统国际会议(IROS)于 9 月 27 日至 10 月 1 日期间在美国匹兹堡召开。 本届 IROS 收录的论文接近 1,900 篇,分设三百多个主题报告场次。 作为机器人领域与 ICRA 齐名的两大顶…

对话 Shallow-π 作者:压缩 Transformer 层级,具身模型竟做得更好?
一个圆柱、一块正在转动的孔板,足以让两种机器人模型拉开差距。 在 Shallow π 的真实机器人实验中,任务要求机械臂拿起圆柱,插入移动中的小孔。层数更多的大模型,可能在等待计算结果的过程中错过位置;一个层数更少、输出接近它的小模型,却能…

对话日冕钟元鑫:工业场景更适合验证 Physical RSI
最近,RSI 正重新成为 AI 行业的高频词,而在具身智能领域,它已经开始被推向一个更具体的问题:机器能不能在真实世界里自我改进? RSI,即 Recursive Self Improvement,指系统能够参与改进自身的代码、工具或训练流…

对话上海交大杨理欣:为什么机器人需要一条「三维时间轴」
机器人会倒水,却可能在放下瓶子后忘了刚才倒过哪一瓶。会执行动作,不等于知道任务该如何推进;机器人还需要把任务意图、行动历史与世界变化连成一条三维时间线。 这类失败不完全是抓取精度问题。今天的视觉—语言—动作模型(Vision Languag…

一次开源三大模型,腾讯机器人正在「超车」
继 2025 年 WAIC 腾讯 Robotics X 实验室发布首个模块化具身智能开放平台 Tairos,在今年 WAIC 上,腾讯 Robotics X 实验室、福田实验室联合腾讯混元发布具身智能系列新成果。 新成果包括发布并开源基于混…

KEMO:给 VLA 装上「记忆插件」,长程任务性能提高 23.6%
2026 年 6 月 17 日,成立于 2024 年的机器人训练基础设施初创公司 XDOF 解除低调状态,完成 7,000 万美元融资,投资方包括 Thrive Capital、 Spark Capital 等一众知名投资机构。 几乎在完成…