机器人 97% 的时间都在等大模型，星海图赵行谈破解实时性难题｜CoRL 2026
作者：江思奇
11 月 9 日，CoRL 2026 机器人学习大会在美国得克萨斯州奥斯汀举行。当地时间 9:30 – 10:00，大会举行首场早期职业主旨演讲。
清华大学交叉信息研究院助理教授、星海图联合创始人兼首席科学家赵行，以「Organizing Physical AI Across Timescales」为题发表演讲。他从模型控制机器人时面临的时间约束谈起，提出按运行时钟为机器人的智能分层。
在特定接口和提示配置下，GPT-6 Astra 已经能在仿真测试中不经机器人专项微调，直接输出机器人动作。
但赵行继续追问：为什么模型有能力给出动作，真实机器人却仍然难以用好它？
他说，答案与时间有关。生成文字回答时，用户可以等模型想完；控制机器人时，环境不会停下来等它，机器人必须及时反应。
因此，机器人系统不仅要知道做什么，还得赶上真实环境的节奏。赵行从仿真测试中的等待问题讲起，进一步讨论机器人为何需要按运行速度划分智能层，以及不同层之间应该传递哪些信息。
模型能给动作，机器人却等不起
讨论时间问题之前，赵行先展示了 GPT-6 Astra 在两项仿真基准上的控制测试：在指定的动作接口和提示配置下，模型无需针对机器人任务单独微调，就能输出控制动作。虽然这并不能代表实体机器人已经可以稳定、实时地完成任务。
在英伟达 RoboLab-120 基准上，如果把 GPT-6 Astra 作为「直接策略」——也就是模型做决策时直接输出机器人动作，成功率为 66%；若作为可调用工具的智能体策略，成功率可达 75%；而专门训练的机器人基础模型 π0.5，成功率仅 28%。
另一项仿真基准 RoboDojo，按照论文指标统计，GPT-6 Astra 平均成功率约 22.5%，π0.5 约 6.9%，前者大约是后者的 3.3 倍。
「这真的很意外，我相信我们社区里很多人还没准备好面对这件事。」赵行说。
但他紧接着指出：「这些基准不计时间。」英伟达的这项测试在模型思考时会暂停仿真。模型想多久，虚拟环境就等多久。赵行展示了一条回合时间线：以直接策略运行的 GPT-6 Astra，跑完一个回合将近 4 分钟。
图中灰色代表模型思考，橙色代表机械臂运动。机械臂实际运动的总时长只有 5.2 秒；按 PPT 数据，每调用一次模型就要花约 18.6 秒，机器人 97% 的时间都在等待。这意味着，即使模型能给出控制动作，推理耗时也可能让它赶不上真实机器人的执行节奏。
大模型这么强，但它太慢，究竟该怎么用？
赵行用一组 RoboCasa365 对照实验给出思路。实验设置了 5 个模型从未见过的厨房场景、5 项任务，每项任务限时 50 秒：启动微波炉、把食物从盘子挪到锅里、移动到水壶或水槽旁、按类别分拣瓶子、将甜点放上托盘。
实验采用同一个前沿大模型，变量只有执行过程中调用模型的频率。赵行对比了五种方案，从任务开始前一次性生成程序，到运行中持续请求模型：
- 代码策略（Coding）：让大模型理解任务、写一段代码，之后程序自己运行，不再问模型。
- 代码策略加追问（Coding + Ask）：代码执行失败时，再让模型重写。
- 编排策略（Orchestrated）：大模型负责调用不同技能，技能本身是小型神经网络；演讲中列出的执行期间调用次数约为 4 次。
- 直接策略（Direct）：每次策略决策时，模型直接指定手该去哪里；PPT 给出的动作间隔为 2 秒。
- 智能体策略（Agentic）：每一步模型除了输出动作，还可以调用工具、做计算。
赵行在演讲中展示了不同策略在任务执行期间的模型调用次数：代码策略 0 次，代码策略加追问约 1 次，编排策略约 4 次，直接策略、智能体策略均约 18 次。这里的 0 次，是指任务运行阶段不再请求模型；在任务启动前，模型依然会生成一次程序。
这些策略的差别，在于执行过程中有多少决策需要交给模型，以及机器人需要等待模型输出多少次。
实验分两轮进行：第一轮暂停时钟，暂不计算模型思考所花的时间。
结果符合直觉：只问一次的代码策略成功率最低，为 45%；会追问模型的策略表现更好，编排策略最高，为 75%；一步一步移动机械臂的直接策略和智能体策略均为 60%。
第二轮让时钟继续运行，超时就算失败。
结果发生明显反转。直接策略从 60% 降到 15%，智能体策略从 60% 降到 20%，代码策略加追问从 65% 降到 45%；编排策略从 75% 降到 65%，仍然最高。只问一次的代码策略不受影响，还是 45%。
计入推理时间后，频繁调用大模型的直接策略和智能体策略成功率明显下降。只在开头调用一次模型的代码策略取得 45%；编排策略仍有 65%，是这次对照中表现最好的方式：大模型隔一段时间做一次决定，高频动作交给小型神经网络技能。
赵行认为，小模型同样可以发挥作用，关键在于把它与大模型组合起来。
机器人的智能，应该按时钟分层
既然要把大模型和小模型组合起来，下一个问题就是层与层之间的线应该画在哪里。
赵行说，传统答案是按功能划分：这里负责感知，那里负责规划，还有一层负责控制。他主张按运行时钟划分：「时钟决定层级。在时钟变化的地方画线。」
赵行把机器人智能分为三层：System 2 以秒为单位运行，代表是 GPT-6 Astra 这样的前沿模型；System 1 以数十赫兹运行，代表是视觉—语言—动作模型（VLA）或世界动作模型（WAM）；System 0 以数百赫兹运行，代表是全身运动跟踪器。
他特别说明，演讲中的 System 0、System 1、System 2 指的是时间预算，和心理学里的「快思考、慢思考」无关。判断一项功能该放在哪一层，可以先问它要对什么作出反应。反应对象决定了这一层必须跑多快，运行速度再决定它属于哪一层。
System 2 要对任务状态变化作出反应，比如一步完成了、该做下一步，这种变化发生在秒到分钟的尺度上。System 1 要对物体之间的相对运动作出反应，比如手和杯子的距离正在变化。System 0 要跟踪接触和力，因此需要每秒运行数百次。
按这种分法，同一个功能可以分散在不同层里：感知不再只属于某一层，每一层都有自己的感知和控制，只是节奏不同。
赵行的研究经历也让他反复遇到同一个问题。他博士毕业于麻省理工学院（Massachusetts Institute of Technology），师从 Antonio Torralba，之后在 Waymo 任研究科学家，现在领导清华大学 MARS Lab。他在演讲中把自己的研究路线概括为三段：先是带轮子的机器人，再是有腿的机器人，「教四足和人形机器人跑、跳、越过各种地形」，现在开始做带手臂的机器人，「因为说到底，我们希望机器人能为人类做真正的活」。
谈到为什么从自动驾驶转向人形机器人，赵行提起了自己在奥斯汀街头看到的 Waymo 车辆和 Cybercab。自动驾驶已经进入日常生活并走向量产，人形机器人能否做到这一点？他给出的答案与时间有关。
第一段经验来自自动驾驶。赵行说，团队把视觉语言模型放进车里，发现模型理解场景的能力出人意料，例如能识别学校区域、减速等孩子过马路；但它没法对驾驶任务即时响应。于是团队把慢速的视觉语言模型和快速的驾驶系统放到同一辆车上。
演讲中，赵行以 MARS Lab 与理想汽车合作开展的 DriveVLM 研究为例。DriveVLM-Dual 将运行较慢的视觉语言模型与快速驾驶系统部署在同一辆车上：两套系统并行工作，遇到长尾场景时，再由慢系统介入。
赵行用 5%/95% 示意两者的分工：慢系统处理少数难例，快速驾驶系统负责大多数情况。他总结说：「让快的那层去开车，慢的那层按自己的节奏走。」
第二段经验来自人形机器人跑酷。赵行说，团队先在机器人上做攀爬、跳跃和爬行，再搬到全尺寸人形机器人上；今年，机器人已经可以用手撑着翻越、攀爬，与环境交互。这些动作由学得的控制器完成，在快速层中自行作出反应，因此整套系统可以看作 System 0。
他从中得到的经验是：「反射必须放在快的那一层」，而且这一层要从眼睛的感知到动作全部自己完成。两段经历合起来，指向同一个原则：快的事交给快的层，慢的层不要插手快层必须即时完成的反应。
现实任务需要哪些层，则取决于具体工作。
赵行举了四个场景：工业流水线动作固定、重复，只需要 System 0；物流分拣流程固定，但每个包裹都不一样，需要很强的 System 1；餐厅服务既要和顾客对话、点单，也要端盘子，三层都需要一些；做家务的任务定义比餐厅服务复杂得多，需要很强的 System 2，但执行速度可以慢一些，因此 System 1 可以稍弱。
分层之后，问题落在两处：每一层怎样跑得够快，层与层之间又该传递什么。
让 System 1 跟上自己的时钟
赵行重点讨论了第一个问题：怎样让每一层按自己的节奏运行。
System 1 需要以数十赫兹的频率响应人与物体的交互，但现有模型往往太慢，跟不上这个速度。
他归纳了三种等待：等模型生成未来视频、等模型完成推理，以及等整段动作解码完成。
第一种等待来自世界动作模型。这类模型以视频生成模型为基础，先预测未来画面，再据此输出动作。
赵行说，视频生成本身很慢，「生成一段 5 秒视频通常要两三分钟」，难以直接用于实际部署。
团队于是追问：测试时，模型真的需要先生成未来画面吗？在世界动作模型中，视频预测和动作预测共享注意力。
团队提出的 Fast-WAM 在训练时保留视频预测，让模型学习未来如何变化；推理时则跳过未来画面的生成。
公开版 Fast-WAM 由 50 亿参数的视频骨干和 10 亿参数的动作专家组成，总参数约 60 亿。它的推理延迟为 190 毫秒。
作为对照，先生成视频再输出动作的版本需要 810 毫秒，前者提速超过 4 倍。研究显示，视频预测主要在训练阶段帮助模型学习世界表征，执行时则可以跳过未来画面的生成。
赵行在演讲中还介绍了一个更大的预训练版本。这个版本有 160 亿参数，在 RTX 5090D 上以 FP8 运行时，每次动作推理约需 60 毫秒。它与公开版 Fast-WAM 是两个不同版本，参数规模和推理延迟不能混为一谈。
第二种等待来自视觉语言模型的推理。由视觉语言模型发展而来的 VLA，推理过程本身就比较耗时；如果模型控制身体时还要边想边做，等待成本会很高。赵行介绍的做法是，训练时用思维链监督模型，执行时则不生成推理过程。
他以星海图 G0.5 为例：模型将视觉、文本输入，以及推理和动作输出放在同一条自回归序列中。研究者可以在同一个模型检查点上关闭推理，观察执行效果的变化。
图中，视觉、语言、机器人本体感知状态和机器人本体标识都输入同一个模型。
模型可以先输出子任务，再给出目标位置框和动作码，最后由动作码解码出连续动作。关闭推理，省去的是执行时生成中间推理的等待，并不意味着模型训练时没有学习这些信息。研究者还可以在同一个模型检查点上切换推理设置，比较中间推理对执行效果的帮助，以及它带来的时间成本。G0.5 的相关研究也探讨了推理对长时序任务的作用。
第三种等待来自动作分块（action chunk）。赵行说，几乎所有论文，无论是 VLA、扩散策略还是世界动作模型，都需要先生成完整的一段动作再执行。「你总在等整段动作生成完，这会损失很多时间。」
他用机械臂追逐移动盒子的演示说明这一问题。分块策略要等整段动作解码完成才能开始执行，因此只能在每个动作块结束后重新观察盒子；动作块执行期间，盒子如何移动，策略都无法及时获知。
团队提出的 ActionCodec2 是一个流式动作分词器，每个动作 token 表示一小段动作，「机器人一收到就执行」。配套的闭环策略可以在每个控制步纳入新观察。流式分词器让机器人更早开始执行成为可能；步间能否纠偏，还取决于闭环控制，而非分词器本身。动画结尾，分块式策略追丢了盒子，流式策略追上了。
三个办法的共同点，是把 System 1 从等待中解放出来：不用等未来画面生成，不用等推理写完，也不用等整段动作解码完。
层与层之间，不能只传运动
System 1 跑得更快之后，还要解决另一个问题：不同层之间应该传递什么信息？
赵行把三层系统之间的信息分为两类。向下传递的是意图：System 2 可以向 System 1 传递语言、目标或程序，System 1 再向 System 0 传递运动指令。向上传递的则是反馈：System 0 把接触情况告诉 System 1，System 1 再向 System 2 汇报任务进度和执行把握。
具体来说，System 0 可以向上反馈接触、受力和跟踪状态；System 1 则可以报告进度、置信度，甚至直接说明「我不确定」。
有了这些信息，上层才能判断下层执行到了哪一步、是否需要重新规划，不能只发出指令就默认任务已经完成。
赵行认为，目前研究更多关注如何向下传递意图，跨层向上的反馈仍然薄弱。
在向下传递的接口中，System 2 和 System 1 之间已有多种形式。赵行举例说，运动生成器可以接收文字、音乐，甚至人的姿态描述，理解其中希望实现的动作和情绪，再由 System 1 转化为可执行的轨迹，交给 System 0 跟踪。
更大的问题出在 System 1 和 System 0 之间：两者之间传递的往往只有运动指令。
但运动信息够吗？赵行用两个日常动作说明了它的局限：擦桌子时，关键在于施力，手的位移可能并不大；坐到椅子上时，动作轨迹相似，椅子却必须承受人的重量。只传运动轨迹，就传不出这些动作真正需要的力。
赵行说，研究者已经开始越过单纯的运动指令，从关节目标到身体运动，再到接触，进一步考虑运动和力兼有。有些工作在把动作迁移到新身体时，会保留机器人与物体之间的接触点和几何关系；但这只保留了接触几何，还没有描述力。
他接着介绍了加利福尼亚大学伯克利分校（University of California, Berkeley）的 Ctrl-F：跟踪器接收一条参考运动和一份力的计划，再由上层的小型规划器决定施力。根据作者项目页，规划器读取物体状态和机器人本体感知，实机通过 AprilTag 跟踪物体位姿。
赵行展示的推箱对照中，箱内增加了 20 公斤负载。英伟达 GEAR-SONIC 的 SONIC 基线只跟踪运动，在这组对照中没有推动箱子；Ctrl-F 则推动了箱子。这个例子说明，除了运动轨迹，系统还需要传递怎样施力的命令。
向上反馈为什么重要？赵行用另一段失败演示说明，系统经常在交接处出问题：低层继续执行，却没有意识到任务已经失败；上层则没能及时发现问题并调整策略。
在 Ctrl-F 的另一组对照中，箱内增加了 2 公斤负载，SONIC 基线跟踪抬箱动作时，手从箱子上滑开，箱子没有被抬起。运动指令执行了，并不等于任务成功；如果低层没有把失败报告上去，高层就无法及时换策略。这组演示说明，跨层反馈需要专门设计。
谈到未来，赵行提出了两条可能的路线。
一条是继续采用分层系统，让各层按自己的节奏运行，意图向下传递，反馈向上传递。运行较慢的上层不适合给出精确的接触力指令；这种方案的难点在于，低层必须能够准确感知情况，并主动向上反馈。
另一条是采用统一模型，共享架构和上下文，同时为不同的运行时钟配置各自的专家，并让它们以不同频率运行。共享上下文是这种方案的优势，难点则是如何把 System 0、System 1 和 System 2 放在一起训练。现阶段，System 1 和 System 2 多采用行为克隆训练，System 0 则主要在仿真中训练；如何把不同训练机制放进同一个环境中共同训练，仍有待解决。
「聊天机器人可以等模型想完，机器人不行。」赵行最后提出，仿真评测也应报告计入推理时间后、在规定时限内完成任务的成功率。