Ken Goldberg:机器人缺的可靠、速度与可解释性,智能体能补上吗? | CoRL 2026

作者:于跃

2026 年 11 月 12 日下午,机器人学习会议(CoRL)在奥斯汀 JW Marriott 的 203–204 房间举行智能体机器人工作坊(Workshop on Agentic Robotics)。加州大学伯克利分校工业工程与运筹学杰出教授、William S. Floyd Jr. 工程讲席教授 Ken Goldberg 是第三场邀请报告,紧接在卡内基梅隆大学石冠亚的报告之后。这场报告现场爆满,是智能体机器人工作坊里人最多的一场。

Goldberg 先问现场:有多少人相信,现在这套做机器人的办法能解决所有问题;又问有多少人支持智能体机器人。随后他给出自己的判断。

他也点出实验室里投入最多的四位学生:Eric Kaiyuan Chen、Shuangyu Xie、Uksang Yoo 和 Xinyue Zhu,后面的案例多由他们主导。

实验室投入最多的四位学生:Eric Kaiyuan Chen、Shuangyu Xie、Uksang Yoo、Xinyue Zhu

Goldberg 说,机器人领域里仍有两套思路,和石冠亚刚才讲的一样,两边还有张力。一套是基于模型(model-based)的传统工程,核心是控制理论,他也把它叫做「老式工程」(Good Old-Fashioned Engineering);另一套是无模型(model-free)的新方法,他也有兴趣。

他认为,可两边现在都碰到了平台期。无模型方法眼下的先进水平仍低于 80% 的成功率,再往上每提高一点都更难。

两种思路:基于模型的传统工程,和无模型的新方法

无模型方法在厨房操作、走线、开门等任务上的成功率仍低于 80%

他还谈到一个人们谈得不够多的问题:黑箱。工业界不喜欢黑箱,这也是这类方法在工业里用得不多的原因。

Dyna Robotics 联合创始人 York Yang 在 2026 年 5 月 4 日发过一篇很坦率的帖子,题目是「10 个月的产线经验告诉我们,所谓机器人泡沫是怎么回事」。一边写融资金额和估值:2022–2025 年 235 笔交易共融资 180 亿美元,年度融资从 28.6 亿美元增至 87.6 亿美元,增至三倍;仅中国就有 140 多家人形机器人制造商,出货产品超过 330 款;新浪潮的美国机器人公司合计估值超过 1000 亿美元。

Dyna Robotics 联合创始人 York Yang 2026 年 5 月 4 日的帖子:10 个月的产线经验告诉我们,所谓机器人泡沫是怎么回事

右下角则写着:真正做成的有用工作总量,大约是零。Goldberg 把这件事叫做收入危机,认为必须认真醒过来面对,因为投资人不会一直等下去。

Goldberg 坦白说,这笔收入近期不会先来自家庭机器人。家庭机器人以后会来,他和现场一样希望如此,但就眼前来说,他不认为会发生。

2022–2025 年机器人融资 180 亿美元,仅中国就有 140 多家人形机器人制造商,新浪潮美国公司合计估值超过 1000 亿美元

在他看来,现有收入仍然来自固定自动化。机器人每天都在这些岗位上赚钱,比如喷涂、点焊、装配。

工业真正希望补上的,是 Goldberg 所说的可变自动化(variational automation):不是固定的,位置会变,物体也可能变。做咖啡就是这一类任务,有人愿意为此付钱,Physical Intelligence 等机构已经开始做。

他强调,工业用户要三件事:可靠、速度,以及可解释性。最后一项很关键。他们不喜欢黑箱,要采用一套系统,就得能向自己和上级说明它是怎么工作的。

基于模型的经典做法,是人按物理和数学写代码。当天上午还有一场工作坊在争论「模型」到底指什么,有人把世界模型也叫做模型;Goldberg 这里说的模型,就是物理和数学。

他说,这类程序通常要为每个应用单独写,不是通用的,但现在就能跑,可解释,也比较可靠,正在工作。新的那一套方法希望做到通用,可目前还不能稳定工作,也不可解释。

他介绍,实验室在春天重做过履行杂货订单的实验:物体位置比预期多挪一点,π0.5 的总体成功率掉到了 20%。分项里,牛奶只有 8%,番茄酱和烧烤酱各 10%,最高的奶油奶酪是 44%。

Goldberg 说,这里要的可靠,是工业级的可靠。如果还做不到可靠,还能靠什么把两边接起来?

π0.5 在履行杂货订单任务上的总体成功率是 20%,牛奶只有 8%

与此同时,大语言模型和智能体系统,尤其是它们彼此协作、写代码的能力,同时明显变强了。Goldberg 实验室里的 Max Letian Fu 和 Justin Yu 一直在做这件事,并和卡内基梅隆大学、NVIDIA、斯坦福大学、伯克利人工智能研究院(BAIR)的一群学生合作,石冠亚也在这篇工作里,还有 Jim Fan 和 Yuke Zhu。

他们问的是:新一代智能体能不能写出机器人代码?这件事有先例。2023 年已有 Jacky Liang 等人探索过「代码即策略」,只是当时语言模型写代码的能力还不够。

他们拿新的能力重新评估了一些基准,用 2026 年 1 月的 CaP-X 这套运行框架后,在高层接口上的成功率几乎翻了一倍,到了 37%。这个结果引起了 Goldberg 的注意,他也为此感到兴奋,觉得也许能补上这个缺口。

Goldberg 的判断是:智能体机器人还差在可靠、速度和可解释性上,而智能体看起来同时具备这三样。对照表里,基于模型的方法现在就能用、可解释也可靠,但不通用;无模型的生成式方法更通用,可眼下还不能用,也不可解释、不可靠;智能体机器人现在就能用、也可解释,是否通用、是否可靠,则仍标着问号。

补上收入缺口的三条路径:基于模型、无模型和智能体机器人

不过他指出,机器人代码本身很复杂。多个智能体一起改代码,甚至单个智能体在修补、改进代码时,也常常会改乱。

实验室里做系统的 Eric Chen 当时在用 Rust。Eric 提出,为什么一直用 Python 写?Rust 类型清楚、结构清楚、好编译,关键在于它是按图来组织的。代码就应该写成图。

这个想法后来写成了实验室在这次会议上报告的工作 Graph-as-Policy(GaP),副题是「用智能体框架做出可靠、高吞吐的机器人任务」。

系统由大语言模型先生成任务图,再生成函数,并接到机器人工具上:感知、抓取、运动规划各是一张子图,再在仿真里自我学习,优化出计算图。

同一时期还有已公开的工作 ENPIRE,以及 NVIDIA 开源的智能体框架 ASPIRE,也在往这个方向走,实验室更强调工业应用。

这套系统的输出可以直接导出成 ROS 图,运行时不再需要智能体,就是一份在跑的代码。图里还有一条说明:改进要靠仿真,仿真放在 NVIDIA 这边做。

Graph-as-Policy:由大语言模型生成任务图和函数,再接到机器人工具上

实验室用 GaP 把先前的数字重新跑了一遍,迭代、微调代码之后,成功率出现了明显提高。这件事让 Goldberg 很震动,资助方的兴趣也明显增加。他们随后做了多组案例,想把这件事看清楚。

第一组是 Push-T 推块。石冠亚刚才也放了这个任务。实验室里的 Shuangyu Xie 用 Claude Fable,很快做成了 Push-T,接着把它推广到全部字母。

系统从字母 T 起步自我学习:第 3 轮掌握基本形状 T、L、I,第 7 轮进入弯笔画 B、P、R,第 14 轮攻下最难的 Q、S、Z,达到全字母掌握。

策略是 Claude Code Fable 5 的模型预测控制,大约 20 小时,成功率到了 99%,而且很快。对照 Matt Mason 组给出的最优策略,那种策略需要无限大的平面;在有限区域内,这一做法更快。系统已经能把字母推出来。

Push-Alphabet 的自我学习过程:从字母 T 起步,第 14 轮达到全字母掌握

实验室还在和 NVIDIA 的 Isaac Lab Arena 合作,开始用 Newton。Newton 作为仿真引擎越来越强,但参数多、不好配,这也是它还没有真正铺开的原因。

Eric Chen 为此给 Newton 写了前端 Robo Sim Studio(RSS),用滑条等工具来配置高质量物理仿真,包括可变形物体,把必须对准的参数配好,让仿真行为对得上看到的现象。这套工具已经公开发布,Newton 是开放的,这个前端也开放。它补上了当时的一个瓶颈:缺好用的仿真器。

Kaiyuan Chen 为 Newton 编写的前端 Robo Sim Studio

9 月 3 日 GPT-6 Astra 发布后,Eric 把这个全新的工具 Robo Sim Studio,连同实验室里一段本来不相干的视频,一起交给 Astra,问它能不能把这个场景重建出来。一小时后,系统读完文档和 Robo Sim Studio 的代码,开始理解该怎样配置 Newton,注意到了海绵的形变,把真机和仿真做到几乎一样。还要对上一些细节,比如相机在哪、灯在哪、材料是什么。

有了仿真,再用 GaP 写出这个任务的代码。图本身很容易查看。仿真里跑的时候,力、力矩,以及海绵网格的弹簧常数都可以看到。

然后 Eric 把这份由 GaP 写出的代码拿到真机上跑,做成了,但有一次例外:推得太用力,杆子倒了。他们回头看视频,发现系统并没有从原视频里看出这根杆子并没有被固定、没有被拧死。原稿把支撑当成了固定件。

他们把这段失败视频送回去,说明这里没做成。系统判断出杆子是自由刚体,没有被按住,力加得太大,于是改了图,决定用左手夹爪按住杆子,问题就解决了。Goldberg 说,他并不是声称这能解决所有问题,但这件事还是让他们吃了一惊。

杆子未被固定时,新的策略图改为用左手夹爪按住杆子

类似的真机到仿真还用在植物上,由 Uksang Yoo 主导,Simeon Adebola、Shuangyu Xie 和 Kaiyuan Chen 一起做。输入只是机器人检查植物的一段视频,交给 Astra 和 Robo Sim Studio 之后,仿真已经非常接近,连他们事先没注意的东西也被建了进去:窗外有一只填充玩具熊,真机画面里能看到,它在实验室窗外,仿真把这只熊也做了出来。

系统还在为这个场景微调各项参数,输出的分辨率和细节都很高。

另一组是双臂翻转工具,题目叫 Flip Anything,由 Shuangyu Xie 提出并主导。24 件工具,用双臂机器人翻转 180 度。

系统从纯代码策略、只用 RGB-D、多种双臂策略起步,在仿真里自我学习 10 小时:第 1 版成功率是 24.7%,经过只交接、立起推倒、稳健抓取与传感、薄件与恢复等阶段,到第 17–36 轮升到 95.0%。

他们又拿两件训练里没有的物体做真机零样本测试,也能做成。但不是每次都成功。有一次夹起内六角扳手时掉了,绿色部分有一点弯曲,再加上深度估计不准,造成抓取不稳,非常难察觉,智能体没有检测出来,也就没能处理。

Flip Anything:自我学习 10 小时后,成功率从 24.7% 升到 95.0%

真机失败:工具边缘弯曲和深度不准,导致抓取不稳

再一组是把物体放进料箱里对应的槽位,任务叫工具分拣(Tool Sorting),来自西门子,由新入学的博士生 Xinyue Zhu 与 Shuangyu Xie、Kaiyuan Chen 一起做。输入是人手演示视频,系统用 Astra 和 Robo Sim Studio 生成仿真,并把手换成两只 YAM 机械臂。

有了高质量仿真之后,再用 Opus 5.5 和 GaP 去训练:一共 4.30 小时,其中 0.88 小时是智能体推理,3.32 小时是仿真和试跑。智能体写图、看失败、再改再跑。

在 500 个未见过的场景里,成功率是 98.8%。仿真里大约每小时能分拣 375 件,约 10 秒一件,合 76 个场景/小时。

这项还没有回到真机上验证。每个物体 10 秒,已经接近工业要求的速度和可靠程度。

工具分拣在 500 个未见场景上的成功率是 98.8%,约 10 秒一件

他们还做了洗衣机或洗碗机背后接水管,任务来自三星,由 Uksang Yoo、Shuangyu Xie、Kaiyuan Chen 和 Shamak Gowda 完成。输入同样是很短的人工演示视频,系统据此建出模型,和输入非常接近。两只机械臂被放在略微错开的位置,这样更方便够到并握住水管,才能把这个任务做出来。

另一项是清洗周转箱,来自 Bosch。实验室以前先做了实物模型,把仿真做对要 3 周;现在走这套新流程,快了很多。系统会从那一段很短的视频里把环境建出来,真机和仿真可以对齐。

控制用的图看起来相当复杂。它先在看该把两台机器人放在哪里,才能翻过这些箱子。运动学并不好办,它最后选定了一个位置,再做路径规划、运动建模和避障。

它折腾了 50 次,一直很难做成,最后才找出一个办法。Goldberg 说,这个办法很巧,连他自己都未必想得出来,他也不认为在场的人一定想得出;这是一个相当漂亮的例子。

Goldberg 还谈到评测。实验室提出了一份面向智能体机器人的可变自动化基准 VABAR(Variational Automation Benchmarks for Agentic Robotics),时间标在 2026 年 11 月,任务包括工具分拣、挂工具、齿轮啮合、针管装箱、插线和走线。

他也提到现在需要还没有被做满的基准,以及石冠亚团队的 Embodied First Exam。这些题目眼下也还没有做得很好,他鼓励大家去跑、去推排行榜。

其中不少是他认为和工业相关的应用,比如数据中心里的线缆整理和走线。他也提到与 ENPIRE 团队、ASPIRE 团队的合作。

面向智能体机器人的可变自动化基准 VABAR:工具分拣、挂工具、齿轮啮合、针管装箱、插线和走线

最后一组是产线案例。Goldberg 参与创办的 Ambi Robotics 在美国多地分拣包裹。一家客户的包裹会卡住,任务叫精确放件:每台机器人每年有 3 万次故障,每次都要人去排除,人工修好要超过 1 个人月。客户是谁,他没有说。

Jeff Waller 用 GaP,一个周末配出了方案。Jeff 估计,人来做要一个月。

系统先给出两个方案,都让情况更糟:第一个方案让每台机器人每年少分拣 374 件,第二个少 1,497 件;第三个方案则每年多分拣 15,725 件,把故障率砍掉了一半,已经在费城和亚特兰大的产线上运行。

Goldberg 认为,这对补上前面说的收入缺口是有意义的。这是这个领域的一个机会,他鼓励有兴趣的人认真想一想、花些时间,把机器人真正送进生产,尤其是面向全世界的中小企业。

第三个方案让每台机器人每年多分拣 15,725 件,故障率下降 50%

Goldberg 最后留了一个带刺的判断:数据是不是已经没用了?他知道这很容易引起争论,他自己其实并不这么看。为训练视觉语言动作模型而采集的演示数据,仍可能有用,也希望在后续模型里用得上。

不过他也认为,要在家庭场景里做到充分通用,仍会需要更通用、也更黑箱、主要靠数据训练的模型。那边仍然有很多人做。可要解决工业问题,情形是不一样的。

他也提到托马斯·库恩的《科学革命的结构》(The Structure of Scientific Revolutions)。他读大学时看过这本书,讲的是科学怎样往前走。库恩注意到,事情发生变化时,科学家往往一时察觉不到。

他举了物理学的例子:当时几乎所有物理学家都相信光以太,后来迈克耳孙-莫雷实验表明并非如此,大家消化、接受,又过了几年。数学里也有类似的事:人们曾相信希尔伯特的设想,认为数学可以被完全形式化,1931 年哥德尔给出了非常彻底的改变,数学家们同样过了几年才接受。

他问:机器人领域是不是也在发生这种范式转变?他自己也不敢说一定,但认为有可能。

报告结束后,有人问到:家务机器人和工业机器人是否会是两套根本不同的流程,实验室是不是在试图用递归的自我改进,做出一种通用流程。Goldberg 说,他有意没有先用「递归自我改进」(RSI)这个词,但做的就是这件事。这些系统在相互作用、自我改进:先在仿真里改进,再到真机上走第二轮改进。

他还补充,在家里打扫和在酒店里打扫不一样,酒店更规则,更适合作为任务。

Workshop on Agentic Robotics(CoRL 2026 工作坊官网,2026-11-12)https://agentic-robotics-workshop.github.io/

GaP: A Graph-as-Policy Multi-Agent Self-Learning Harness For Variational Automation (VA) Tasks(arXiv:2607.05369,CoRL 2026)https://arxiv.org/abs/2607.05369

Graph-as-Policy 项目页 https://graph-robots.github.io/gap/

本文依据 2026 年 11 月 12 日工作坊现场报告整理。