依托世界模型倒带复盘，智元 Rollback 让单台真机 8 小时追上人类均值

机器人一旦做错决策，能不能退回节点换个动作重新尝试？

这在现实物理世界很难，就像积木塔一旦倒塌，不会自己复原。机器人每试错一次，都要人工重置场景、把道具摆回初始状态，才能开启下一轮试验。**大量时间和成本都耗在场景复位上，这正是实体机器人强化学习昂贵、迭代缓慢的核心痛点。**于是学界开始把训练放进「世界模型」，让机器人在虚拟想象中反复练习。

10 月 26 日，智元机器人联合北京航空航天大学、新加坡国立大学发布论文《Rollback：Experience Backtracking in World Models for Policy Improvement》（Rollback：世界模型中的经验回溯与策略改进）。论文共 16 位作者，Jiayi Luo、Yang Zhang、Liliang Chen 为共同一作，通讯作者为北京航空航天大学的李建欣和智元机器人具身研究中心常务主任任广辉。

团队提出了 Rollback，一套基于世界模型的机器人策略改进方法。它给世界模型加入了「倒带」能力：在单次交互过程里回溯到关键节点，更换动作重新推演，对照不同走向的结果，找到决定成败的关键步骤。

研究核心结论显示，在抽积木、投球进桶、桌面冰壶三项真机任务上，Rollback 的成功率分别达到 69.33%、40.00% 和 64.44%，比最强基线高出 10.67、11.11 和 11.85 个百分点，三项平均从 46.72% 提升到 57.93%。

更引人注意的是，这套策略的起点是远低于人类水平的遥操作示范数据，但只用一台真机训练 8 小时，它在投球和冰壶两项上都超过了人类玩家的平均成功率。起点比人差，两项任务的终点比人强。

简单来说，这项工作就像是在让机器人在世界模型里学会「复盘」。它以真实交互轨迹为基础，回溯到流程中的关键决策点替换动作重新推演，对比同一起点衍生出的多条分支结果，直接判别该步动作优劣，无需额外训练独立的价值模型。

真机持续采集的新鲜数据会不断回灌并校准世界模型，提升模型在策略高频到访状态下的准确度，整套训练搭建在云、边、端异步协同系统之上，搜索、训练与真机执行模块并行运转，彼此之间无需互相等待。

真机试错太贵，就在想象里训练

让机器人通过试错变强，最直接的办法是真机强化学习（Reinforcement Learning，RL）：让机器人反复尝试，成功就奖励，失败就调整。但现实世界里，每一次试错都伴随着不菲成本，这类痛点本质上就是物理交互成本高，环境重置高度依赖人力。

于是行业开始把训练搬进世界模型（World Model）。世界模型可以理解为一个会「脑补」的视频模拟器：给它当前画面和机器人要执行的动作，它就预测接下来几帧会发生什么。策略在里面试错，不碰真机，也不用人复位。

这条路线在近两年迎来快速推进，智元此前推出的 GE-Sim 2.0，便是面向机器人操作的闭环视频世界模拟器，根据当时论文披露的信息，它基于数千小时机器人真实数据完成重训，仅 20 亿参数就登顶公开 WorldArena 榜单，单张英伟达 H100 显卡生成 25 帧推演结果仅需 2.3 秒。

但 Rollback 的团队认为，现有做法把世界模型用「浅」了。**大多数方法仍然沿用真机训练的套路：每次从头开始，一路往前推演到结束，然后把中间过程丢掉。**这等于浪费了世界模型一项真实世界没有的能力，那就是「倒带重来」。在物理现实中，抽积木进行到一半，无法回溯到动作发生之前；但世界模型能够留存轨迹中途任意时刻的环境状态，随时恢复现场，更换动作重新推演。

想要充分发挥倒带机制的价值，还要跨过三道核心门槛。

第一，并非每一步都值得重来。一条轨迹里通常只有少数几个决策真正决定成败，其余步骤换个做法结局差不多，盲目到处分叉会把算力耗光。

第二，监督信号太稀疏。一整条轨迹最后只有一个「成」或「败」，看不出中间哪个动作立了功、哪个动作闯了祸，这就是强化学习里经典的信用分配（Credit Assignment）难题。常见解法是再训一个价值模型去估计每一步的好坏，但这会引入额外的建模假设和估计偏差。

第三，世界模型会「看走眼」。策略越练越好，就会走到世界模型训练数据很少覆盖的状态，预测误差可能累积，甚至被策略钻空子，导致在想象里学到的本事搬不回真机。

怎么让世界模型倒带？

Rollback 对应这三道门槛，分别设计了配套模块：经验回溯树搜索、树结构价值估计，以及世界模型与策略的协同进化。

**第一步，将真实试错轨迹构建成一棵回溯树。**系统以一条真实交互或是示范轨迹为基础，在每个动作块（Action Chunk，也就是策略单次输出的一段连续动作）的边界保存观测信息，形成一条基准参考路径。每个节点对应 50 个控制步，控制频率为 30 赫兹。这套方案沿用 GE-Sim 2.0 作为世界模型，它能够依据输入的动作块，同步预测头部、双腕三路相机的后续画面，还有机器人本体状态，也就是单臂 7 个关节加上 1 个夹爪的位置信息。团队解释预测本体状态的必要，如果仅依靠生成图像，策略只能从画面间接推断手臂姿态，对于抽积木、投球这类对接触、释放时机精度要求很高的任务，这样的信息粒度远远不够。原始真实轨迹的最终结果会沿着参考路径反向传递，成为这棵树上第一条完成评估的分支。

**第二步，依靠蒙特卡洛树搜索选择合适的分叉位置。**借鉴 AlphaGo 的思路，Rollback 使用蒙特卡洛树搜索（Monte Carlo Tree Search，MCTS）分配有限的推演算力，也就是文中所说的「想象预算」。每个节点会记录访问次数与累计成功次数，成功率更高的分支会获得更多探索资源，同时配套探索奖励，给访问量偏低的分支留出尝试空间。机器人动作属于连续高维向量，无法像围棋那样枚举全部可选动作，因此 Rollback 由当前策略自行生成候选动作，每次更换随机噪声种子完成采样，思路和 Sampled MuZero 相近，再通过渐进拓宽（Progressive Widening）限制单个节点新增动作的上限数量。每一条新动作分支都会持续推演至任务成功或是抵达预设深度上限，再由经过任务微调的奖励模型判定结果好坏。

这里还有一个关键设计，名为分歧驱动的细化（Disagreement-Driven Refinement）。只有同源节点衍生出的分支出现不同结局，才能产出有效的训练信号；仅仅推演少数几次观察到的结果差异，很可能只是随机运气带来的扰动。当系统检测到同一节点下的兄弟分支落入不同价值区间时，就会把该节点送入优先队列，给访问次数不足的分支补充推演，直至所有分支都满足最低访问次数要求。算力被集中花在「能产生监督信号」的对比上，同时也压低了标签噪声。

**第三步，从回溯树里直接判断单段动作的优劣。**每个动作块都会衍生出一棵子树，子树全部叶子节点的成功占比，就构成这个动作的经验价值。Rollback 会限定对比范围，仅在同一个父节点分出的兄弟动作之间做比较：将单个动作的价值除以同组内最优值，再划分成 K 个档位，实验设置取 5 档。这套机制的优势在于，简单局面和高难度局面都能生成具备可比性的监督信号，对比基准始终是同一个起始状态下不同动作的表现。论文提到，这种组内归一化的思路和大模型训练里 GRPO 的组相对优势逻辑相近，区别在于此处的分组，是从同一个回溯上下文采样得到的候选动作。如果一组内所有兄弟动作最终归于同一档位，意味着没有区分信息，这条样本会直接舍弃。

**与训练价值模型相比，这种做法有个朴素的优势。**奖励模型只需要判断一段完整推演最后成没成，比让价值模型从中间状态预测最终成功率容易训练得多。

**第四步，依托档位标签更新策略。**策略基座选用 Physical Intelligence 的 π0.5，训练思路延续该团队 RECAP 方案的优势条件化策略（Advantage-Conditioned Policy）：将动作对应的档位作为提示条件，以流匹配（Flow Matching）为训练目标，引导策略学习不同档位动作的特征分布。训练数据集融合树搜索产出样本、离线示范数据以及真机采集轨迹，其中真机成功轨迹标记为最高档位，失败轨迹标记为最低档位。在部署和树搜索阶段，策略始终以最高档作为条件，搭配无分类器引导（Classifier-Free Guidance）强化择优倾向。同时，搜索用到的候选动作采样自同一份最高档策略，策略参数更新之后，后续新建搜索树生成的候选动作也会同步迭代。

**第五步，让世界模型和策略协同进化。**这是论文着重强调的一点，作者称之为「测试时物理校准」（Test-Time Physics Grounding）。这里的「测试时」指的是世界模型预训练结束后、被当作训练环境使用的阶段。初始世界模型在专家数据上微调，见过遥操作员做出的接触和物体运动，却很少见过一个「以新方式失败、或以新路线成功」的策略会造成什么后果。论文举了个例子：积木本该倒下，世界模型却让它立着，搜索就可能把这个错误当成成功来学。Rollback 的对策是持续把真机新采集的成功和失败轨迹加入回放集，用 LoRA 对世界模型做 400 步监督微调，再做 100 步分布匹配蒸馏（Distribution Matching Distillation，DMD），恢复少步数快速采样。每条真实转移都自带监督目标，不需要额外标注。

这项能力的特殊之处在于物理引擎的动力学是人手写的，系统辨识只能调参数；学出来的模拟器则可以在使用中直接修正自己的物理规律。

搜索与训练互不等待

视频世界模型里的搜索非常吃算力，真机交互又慢，而且只能靠增加机器人数量来并行。如果按「采数据、搜索、训练」轮流来，每样资源都会有大段时间闲着。所以 Rollback 把它们拆成并发进程，只通过数据和带版本号的模型快照交流。

整套系统分为三层架构：

云端负责所有吃 GPU 的工作，包括搜索、数据存储和训练；边缘站点紧挨机器人，负责策略推理，云端不进入机器人的控制回路。

机器人本体只管感知和执行。每张搜索 GPU 上同时放一份策略、一个世界模型实例和一份上下文缓存，一棵树从头到尾都在同一张卡上完成，中间推演状态不过网络，只有搜索结束后提取的监督样本会上传。论文也提到，因为搜索节点之间不共享状态，想象的吞吐量随 GPU 数量增长。

另一个细节是「版本钉住」的搜索任务。每棵树开始时锁定当时最新的策略和世界模型版本，直到这棵树搜完才换。这样一棵树里所有分支都由同一个策略提出、由同一个世界模型推演，兄弟分支的结局才可比，缓存的上下文也一直有效。实验中，云端共 48 张英伟达 H200，其中 40 张跑世界模型搜索、8 张跑策略训练，服务一个边缘站点和一台真机。

三项真机任务

实验基于智元双臂机器人 Genie-02 开展，三项测试任务各有侧重。

• 抽积木（Block Extraction）对应叠叠乐玩法，要求单次推出指定积木且保持塔身不倒，检验高接触场景下的精细操控能力。
• 投球（Ball Tossing）需要抓起球体并投入地面桶中，且球不能弹出，考验出手姿态与释放时机的把控。
• 桌面冰壶（Tabletop Curling）设置为人机对抗模式，机器人作为后手，双方各推送两只冰壶，后出手的冰壶可以撞击前方壶体，四只冰壶全部落位后，距离中心点更近的一方取胜，兼顾策略判断与动作精度。

策略输入为三路 RGB 画面加本体状态，以 30 赫兹控制 16 个动作维度。每项任务选 6 个初始位置（冰壶为 9 个），每个位置测 15 次（抽积木为 25 次）。

对比基线有三个，均从同一个 π0.5 初始化：只用专家示范做监督微调的 SFT；在真机数据上用学到的价值模型估计优势的 RECAP；以及作者在同一个 GE-Sim 2.0 上复现的 RISE。RISE 是今年早些时候发布的「想象中强化学习」框架，按其论文介绍，它把可控动力学模型与进度价值模型组合起来，在想象空间里生成推演、估计优势、更新策略。RECAP 和 RISE 的训练时长同样约 8 小时、一台真机、GPU 数量相近。

Rollback 在三项任务上全面领先。

• 抽积木 69.33%，比 RISE 的 58.67% 高 10.67 个百分点。
• 投球 40.00%，比 28.89% 高 11.11 个百分点。
• 冰壶 64.44%，比 52.59% 高 11.85 个百分点。

三项平均 57.93%，比 SFT、RECAP、RISE 分别高 17.63、13.71 和 11.21 个百分点。投球一项相对 RISE 的提升达到 38.5%。

一组递进对比更能体现方案的增量价值。从 SFT 到 RECAP，平均成功率提升 3.92 个百分点；从 RECAP 到 RISE，再提升 2.49 个百分点。**Rollback 在 RISE 之上拿到的 11.21 个百分点增益，超过前两次提升之和。**因为 RISE 基于完全相同的世界模型复现，这组差异剔除了仿真底座性能带来的变量，更能代表「倒带回溯」机制本身带来的效果提升。

为什么涨幅这么明显？

**第一，训练过程更稳。**论文跟踪了 8 小时训练中真机成功率的变化。从 RECAP 策略出发，Rollback 的投球成功率从 25.56% 稳步升到 40.00%，相对提升 56.5%；RISE 则先在第 2 小时跌到 24.44%，此后起伏，最终停在 28.89%。冰壶上，Rollback 从 51.11% 升到 64.44%，RISE 基本停在初始水平附近，最终 52.59%，只比起点高 1.48 个百分点。冰壶上两者的差距在每个评测点都在拉大，投球上则从第 4 小时后持续拉大。

**第二，两个部件缺一不可。**作者在抽积木上做了消融。冻结世界模型、不让它跟着更新时，成功率降到 64.67%，连续抽出的积木数从 2.60 块降到 1.90 块，触碰到目标积木的比例从 89.33% 降到 78.67%。把树结构价值换成「直接用单次推演的奖励做标签」时，成功率跌得最多，降到 59.33%，触碰目标比例也降到 77.33%。论文的解释是：直接奖励监督下，每个标签只取决于一次随机推演，而非整棵子树的平均；冻结世界模型时，预测误差会在抽积木所需的一长串接触决策中不断累积。投球上也有类似现象，冻结世界模型只能练到 26.67%。

**第三，搜索确实找到了决定胜负的那一步。**论文用冰壶的一棵搜索树做了可视化。Rollback 不必每次从头开局，它回到一次真实对局中间的两个决策点重新分叉。在第 200 步，也就是推第二只壶时，真实记录里那一推约 10 步内就把红壶送进了大本营；从同一时刻出发的想象分支推得更轻，壶滑行约 60 步后停在了大本营外。分叉也会发生在想象内部：从第 50 步的同一想象状态出发，两个分支推第一只壶的动作几乎一样，区别在第二只壶的出手速度，快的进营，慢的停在前面。两条只在一个动作上有差别的路线摆在一起，哪一步定胜负就一目了然。

8 小时训练，追上并超过人类均值

将 Rollback 的表现和真人做对照，对照分为两组：一组由人手直接完成任务，另一组由人遥操作机器人执行，两组采用完全一致的初始条件与成功判定标准，最终取三名受试者的平均值。

投球任务中，人类徒手完成的平均成功率为 31.48%，遥操作机器人的平均成功率为 16.53%。Rollback 在训练至第 6 小时时达到 33.33%，首次超越人类徒手均值，8 小时训练结束后来到 40.00%。

冰壶任务里，人类徒手均值 58.39%，遥操作均值 38.94%，Rollback 在第 4 小时就实现反超，最终达到 64.44%。训练完成时，Rollback 在两项任务上分别高出人类徒手均值 8.52 和 6.05 个百分点，相比遥操作成绩高出 23.47 和 25.50 个百分点。

这组结果有一个值得玩味的地方。RECAP 初始化的策略本来就已经比遥操作强（投球 25.56% 对 16.53%，冰壶 51.11% 对 38.94%），但只有经过 Rollback 训练，才越过了人类玩家这条线。论文强调，策略从来没看过人类玩家怎么做，比人强的那部分，来自它在想象里比较自己的不同动作。

当然，「超过人类」的说法需要放在语境里理解。这里的人类成绩是三位参与者的平均水平，任务和初始位置都是固定的，与专业选手或开放场景下的人类能力是两回事。

团队也拆解了投球的失败类型：扔近了、扔远了、弹出桶沿，以及出手过晚导致球掉在机器人身边。前三种占失败的大多数，分别来自出手速度和方向的小误差。这四类失败都发生在出手前后很短的时间窗口里，一个动作块基本就决定了整局结果。这也解释了为什么投球特别适合用「回到关键一步换个做法」来学习。

虚拟推演能不能信？

在世界模型里练出来的东西能不能搬回真机，关键看世界模型准不准。团队为此做了两组测试。

第一组实验围绕抽积木任务开展。研究人员选取 8 条真实的失败轨迹，将记录下来的动作序列原样输入经过协同进化的世界模型，每条轨迹重复推演 5 次，合计 40 组仿真结果，再和真实录像做比对。推演结果的平均峰值信噪比为 21.6 分贝，其中头部相机可达 23.4 分贝，得益于背景静止、预测难度更低。逐像素误差会随着推演逐步累积，从前四分之一时段的 6.8 上升至最后四分之一时段的 11.8，在 150 至 275 帧的推演区间内放大 1.74 倍。论文认为这个现象和方案的设计取舍自洽：依托真实观测节点分叉，不做无限制的超长推演。更关键的是，奖励模型在这 40 次失败推演里没有出现一次误判，没有把失败分支识别为成功；一旦发生这类误判，错误标签就会污染整套学习里的相对价值信号。

第二组以冰壶任务为载体，对比协同进化前后的世界模型表现。团队使用 64 条验证轨迹，每条轨迹重复推演 3 次。经过协同进化更新后的模型，在全部 64 条轨迹上的误差都有所下降，平均误差从 19.52 降至 12.96，降幅接近三分之一。误差随推演时长拉开差距：冻结不更新的世界模型，误差从前期 12.48 上涨至后期 23.73，放大 1.90 倍；协同进化版本仅从 10.50 涨到 14.47，放大 1.38 倍。多次推演结果之间的离散度，也从 9.39 收窄到 6.12。

论文给出了直观的案例：当第一只冰壶停在大本营中心，冻结版世界模型会在第 130 步错误将壶体偏移到营边，又在第 215 步提前判定第二只壶入营，但真实画面里这只壶还在滑行；协同进化后的模型则能够和真实录像保持一致。这类仿真偏差会直接改变单次推演的得分，进而扭曲对应分支的价值标签。

要留意的是，这 64 条验证轨迹属于协同进化过程中用来适配的真实数据，冻结版本的模型并未见过这些样本。论文也明确说明，这组对比衡量的是策略实际会访问到的状态下的保真效果，能够证明在线校准有效，但不能直接等同于模型对全新场景的泛化能力。

世界模型训练的下一步

把 Rollback 放进近两年的技术版图里看，它填补的是「怎么用好世界模型」这一块。

同一方向上已有不少工作。按 Rollback 论文的梳理，World-Gymnast 用视觉语言模型评估想象推演来做强化学习，并探索用真实经验迭代更新世界模型；WoVR 强调把世界模型做成可靠的模拟器，用于视觉语言动作模型的强化学习后训练；RISE 用组合式世界模型加进度价值模型，在想象空间里闭环自我提升。另一条线是 Physical Intelligence 的 RECAP，直接在真机部署数据上做优势条件化强化学习，按其论文介绍，在部分最难的任务上能把任务吞吐量提高一倍以上、失败率大致减半。

Rollback 的不同在于两点：一是把「倒带」作为训练的基本操作，从真实经验出发做树搜索，用兄弟分支的对比代替价值模型；二是把世界模型的在线校准单独拎出来，作为模拟器本身的一项能力来研究。

思路上，它更像是把 AlphaGo、专家迭代（Expert Iteration）这类「搜索加蒸馏」的经典范式搬进了视频世界模型，也与 Go-Explore「先回到去过的状态再探索」的思路相近。区别是，这些经典方法依赖精确的模拟器或规则，Rollback 的搜索则运行在一个学出来、会出错、需要不断校准的视频模型里。

**对产业而言，最值得关注的或许是它的资源配比。**搜索能力可以靠加 GPU 扩展，而真实数据只能随机器人数量增长。一台机器人加 48 张 H200、训练 8 小时（不含此前对世界模型和策略的任务级预训练），Rollback 在三项任务上比同等预算下的最强基线平均高出 11.21 个百分点。如果这一比例能在更多任务上复现，机器人强化学习的瓶颈有望从「真机时间」部分转向「算力」，而后者更容易扩展。

当然它的局限同样清晰。

第一，Rollback 依赖针对单个任务训练的奖励模型，以及世界模型在长时程、接触丰富场景下的保真度，而保真度分析已经显示误差会随推演增长。

第二，论文中每个策略只针对单一任务训练，只用了一台真机。此外，论文在系统部分说明，多站点、多机器人的配置尚未评估。

整套方案的算力门槛并不低。除策略优化阶段用到的 48 张 H200，前期预训练同样消耗大量资源：世界模型先在 32 张 H200 上完成 10000 步监督微调，再用 16 张 H200 执行 2500 步分布匹配蒸馏；策略预热阶段，还需要在 16 张 H200 上跑满 100000 步。这样的配置对绝大多数实验室而言负担很重，方法门槛集中在算力与高质量世界模型上。同时三项测试都属于桌面级、规则明确、成败判定简单的小游戏，迁移到家务、装配这类目标模糊、反馈稀疏的长程任务时，奖励模型和世界模型能否维持稳定表现，仍有待更多实验验证。

简言之，机器人已经学会了「悔棋」，但想要下好更长、更复杂的棋局，最终还是取决于世界模型能稳定推演多远。