杨立昆点赞，浙大孙俊涵、清华赵昊等提出 INTACT：免去 JEPA 世界模型的「搜索税」

2026年7月31日

世界动作模型的核心在于，先预测「下一步发生什么」，并为其设立目标，再让机器人看一眼目标，自己决定执行的每一步该做什么。

然而当前的主流方案有一个别扭的设计：训练时，模型学会「给定当前画面和动作，预测接下来发生什么」；部署时，控制器却从随机噪声中采样几千条候选动作序列，反复展开、评分、筛选，才能逼近一个接近目标的方案，耗费大量时间。

以 LeWM 为例，每次决策需要评估 9,000 条候选序列，单次推理耗时约 1.48 秒。其主要时间耗费在通过 CEM/MPPI 搜索动作序列里。

对此，7 月 28 日，浙江大学博士生孙俊涵为第一作者，清华大学赵昊教授、浙江大学章国锋教授任通讯作者，发表了一篇论文：《Isomorphic Intent-to-Action Learning for Search-Free World Models》并提出了 INTACT 框架。 INTACT 用一个共享算子同时处理「刚刚发生了什么」和「接下来要达成什么」，把物理意图和目标意图对齐到同一个动作语义下。

这篇论文的研究成果发布在海外 X 平台后，收获了 JEPA 架构提出者、图灵奖得主杨立昆（Yann LeCun）的点赞。

效果很明显，论文提到 INTACT 仅训 1 个 epoch ，零搜索输出动作序列，以快 300 倍的毫秒级推理取得 95.33% 宏平均成功率，更在 Cube E5 的 300 次同起点审计中以 98.7% 胜过多跑 9,000 次评估仅 67.0% 的 LeWM CEM，做到加速动作序列输出的同时，提升了动作成功率。

借此论文发布契机，我们采访到了该论文的第一作者、RoboParty Lab 孙俊涵，聚焦以下大家比较感兴趣的问题，聊了聊以 JEPA 为主干的 INTACT 架构：

JEPA 一直在「预测」上发力，其与 Dreamer 等架构有什么区别？INTACT 是怎么帮它拥有更强的控制能力？预测和动作之间的那道墙到底怎么拆？
论文里的核心设计是「同一个算子被调用两次」。一次用于物理意图，一次用于目标部署，中间的区别。两次调用共享同一组网络权重，共享为什么比拆开好？
JEPA 从学术走向工业部署的关键坎，以及为什么看好这一条路线？

INTACT 在四个标准 LeWM 仿真任务上做了零搜索、Guarded A 和纯 CEM 搜索的完整对照，同时在共享编码器多任务设置下验证了表征的通用性。结合孙俊涵的采访和技术报告，得出上述问题的简要结论：

Dreamer 是 Encoder→Decoder，需要重建像素，有真实世界监督所以天然防坍塌，但数据量和计算量都大。JEPA 是 Encoder→Encoder，在抽象空间里预测，不需要重建画面所以更高效，却容易表征坍塌。INTACT 是把「物理后继」和「目标意图」两类条件送进同一个动作算子，填补了从「会预测」到「会控制」的语义缺口。
论文的消融把两次调用拆成两个独立网络，在 PushT 上直接低 4.00 个百分点。说明共享不是图省参数，是为了让物理意图和目标意图在同一个语义空间里耦合。同时，两次调用之间不强制逐点对齐，允许以自己的方式逼近真实动作，但互相保留合理偏差。因为同一个起点到同一个目标，成功的路径本来就不止一条。
第一道坎，JEPA 只预测、不能控制，INTACT 已经跨过。后面两道坎：一是高保真仿真环境搭建，二是模型本身的持续优化，包括从仿真扩展到复杂的真实机器人任务。看好这条路线的原因是：真机部署中， VLA 冻语义理解（VLM）并微调动作生成（Actor）是割裂的，而 INTACT 反而冻 Actor、调 Encoder，能「真正理解语义」。

INTACT 没有在 JEPA 世界模型之外另起炉灶，它保留前向预测器负责「给定动作，推演下一个状态」，叠加共享预测器负责「给定运动意图，直接输出动作」，让世界模型的控制接口不必绑定搜索外挂。这让 JEPA 世界模型从「会预测但不会控制」的学术架构，变成了一条可工程化部署的 VLA 替代路线。

JEPA 架构的世界模型是什么

具身圈做机器人控制，目前有三条技术路线。大部分人对 VLA/Transformer 那套「大数据+大模型」叙事已经很熟；Dreamer 也有不少出圈工作；但 JEPA 是最少被谈起的那条。在讲 INTACT 怎么工作之前，有必要介绍三条线。

几乎以 Transformer 为核心的 VLA，即「预训练→指令微调→输出动作」。这条路人最多。RT-2、π系列、OpenVLA、GR00T N1 都在这里。核心逻辑是用海量互联网图文和视频预训练攒「世界常识」，然后用机器人演示数据微调，端到端出动作。

优势是跟着 LLM 的数据规模在跑，语义理解强，跨任务泛化有想象空间。短板也明显，真机轨迹一条条遥操作采，贵；推理参数动辄几 B，重；关键是语义理解和动作分开执行，VLM 能把任务描述得很清楚，但 Actor 不一定能把它变成正确的关节角度。

Dreamer 是走「编码→潜空间推演→解码回像素」的路线。代表是 PlaNet、DreamerV3、TD-MPC2。流程是 Encoder 把观测压缩成 latent，并在 latent 空间做前向推演，最后 Decoder 把结果解码回图像或奖励信号。

因为 Decoder 有真实画面做监督，这套架构天然不坍塌。但 Decoder 也意味着要重建纹理、光照、背景这些跟控制关系不大的像素信息，计算量和数据量都省不下来，推理阶段仍然离不开搜索。

JEPA 世界模型是「编码→潜空间直接预测→不解码」。代表是 LeCun 的 V-JEPA、LeWM，以及本文的 INTACT。Encoder 把 RGB 压进 latent 之后，直接在 latent 空间里预测下一个 latent，没有 Decoder，全程不碰像素。RGB 里噪声太多，光线变一下像素全变，但物理规律没变。

事实上，在抽象空间做预测，滤掉噪声，只保留「什么发生了改变」的特征。该好处是不需要重建画面，参数量可以压到很小，核心风险是表征坍塌，若Encoder 把所有输入都映射成 0，0 预测 0，用于比较的损失函数很完美但模型废了。整个 JEPA 家族的技术心脏就是防坍塌。

LeCun 推 JEPA 推了好几年，但工业界真正用的屈指可数，其原因在于 JEPA 解决了「预测」，但一直没人解决「控制」，即以 CEM 为代表的搜索动作序列方式，工业界「等不起」。INTACT 头一次把 JEPA 从预测器升级成了「可部署的动作接口」。

孙俊涵作出了一个直接的判断：「LeCun 的 World Model（世界模型），用状态加动作预测下一帧，但这个 predictor（预测器）在我眼里跟 Dreamer 的 decoder 是一回事，都是生成器。他没有真正把 encoder-encoder 架构的优势用起来。」

所以说，INTACT 把预测下一帧 latent 交给 Jepa 主干，主要贡献是让 latent 空间里的「意图」和「动作」互相对齐。

同一个网络，问它两遍——INTACT 把意图变成动作

INTACT 的架构全景如下图，核心可以拆成三步关键设计。

第一个设计，对于当前状态，论文定义了两种运动意图。物理意图（实际发生的下一步减去当前，用来回答「刚才怎么做」的变化），以及部署意图（目标减去当前，用来回答「要往哪走」的方向）。

前者在训练时有真实后继做依据，但部署时不可用，因为下一步长什么样，动作执行之后才知道。后者部署时直接可用，但它来自目标而非物理转移。这就是整篇论文的出发点：两种条件各自有用，各自不全。

第二个关键设计在于，两种意图进入完全相同的输入结构，输入结构包含四个槽：当前状态、运动意图、状态与意图的交互项、以及上一步的动作。这个结构穿过同一组网络权重，输出一个动作分布。训练时，两次调用的 loss 各自跟真实动作做差，但两次输出之间不做 loss，故意不强制它们彼此逼近。

也就是说，同一个起点、同一个目标，历史上走过的路有无数条，强制对齐等于让模型只记住一条「平均路径」，而控制要的是「在合理区间内任一条都行」。

第三步设计通过非对称梯度让「该动的动，该定的定」。当物理后继作为锚点时，它携带梯度，反向更新编码器，让视觉表征保留「什么变化是可恢复的」。当目标作为锚点时，它被截断梯度，目标定死，让动作去追目标，而不是目标来迎合动作。

孙俊涵在专访里给了一个形象比喻：「若高三目标是清北，不能因为太辛苦中途把目标改成别的学校。容易了，但不是一开始想去的那个地方。」

值得一提的是，关于第二个设计里的四个输入槽，最关键的是第三项，状态与意图的逐元素交互。同一个「向前一米」，在空地上和在墙根底下，含义完全不同。论文消融实验给出了定量：只补这个交互项，提升不到一个百分点；四个槽完整匹配，提升近四个百分点。

这就让部署时的推理循环很简单，编码当前和目标画面 → 计算目标意图 → INTACT 预测器输出动作块 → 前向预测器展开一步 →从新观察重新规划。相比于 LeWM ，整个过程不评估任何候选序列，不调用任何终端代价函数，大幅减少推理时间。

搜索得更多不等于更好

上一节讲了通过同一个算子调两次，部署时只给目标就可以直接出动作。那么就需要回答这套「意图到动作」的方案，实际跑起来到底有多好，重要的是以 CEM 为代表的搜索还有没有存在的必要。

事实上，INTACT 不主张彻底抛弃搜索。它改变的是搜索在世界模型控制里的定位。

论文在 576 种规划器配置的完整矩阵中系统审计了不同搜索策略。核心发现是，以 Direct 计划作为搜索起点、只在一个很小的邻域内微调时，宏平均成功率从 95.50% 升到峰值 96.78%；一旦把搜索范围继续放大，成功率反而跌到 92.86%。

更值得注意的是，如果把 Direct 计划扔掉、退回全套 CEM 搜索，每次决策随机生成 300 条候选序列、迭代优化 30 轮，共评估 9,000 次宏平均成功率是 93.78%，还不如一步不搜的 95.33%。论文对此有一句很精准的概括：「不加约束的迭代搜索会复现训练和部署之间的鸿沟。」

而且，如上图，在不同任务上，所需要的「搜索配置」也不同。PushT，接触密集型的推块任务。Direct 模式拿了

85.78%，在 Direct 计划附近做小幅局部验证后拉到 92.33%，搜索贡献了近 7 个百分点的红利。

Reacher，连续控制，轨迹平滑。Direct 已经高达 97.67%，稍微放大搜索范围就掉到 93.78%，继续放大只剩 84.78%，比零搜索低了 13 个百分点，搜索纯属添乱。

两个任务反差这么大，根因在于，PushT 的 Direct 在接触切换点附近偶尔会有偏差，小范围局部搜索能纠回来；Reacher 的 Direct 本身已经非常准，搜索范围一大等于往正确答案旁边撒噪声。

由此论文给出了推荐配置 Guarded A：以 Direct 计划为搜索中心、在一个很小的邻域内做 128 条候选 × 3 轮迭代的局部验证，总共 384 条候选，仅为全套 CEM 的 4.27%。宏平均达到 96.86%，比纯 CEM 高出 16 个百分点。

该配置原则在于，从学习到的解出发，搜索范围收窄，候选数压到百级，始终保留原始计划做参照。

就像采访最后补充问及世界模型未来还需要搜索吗，孙俊涵的回答是：「模型要有搜索的能力，但不代表一定要用。少搜、不搜，才是该去的方向。」

附录里还有一个有意思的发现，如上图。仅用物理后继反演，不加目标意图时，一个 epoch 后在 PushT 上的 Direct 成功率远低于完整 INTACT 的目标位移版本。这也说明，当部署时没有真实后继可以用，模型必须学会从目标意图出发直接出动作。

动作信号还能影响视觉表征

Direct 模式已经证明，INTACT 学会了直接从意图读出动作。但论文里最有启发性的发现是，把读出动作的能力完全拿掉、退回到同一套 CEM 盲搜之后，被 INTACT 联合训练过的编码器，仍然比纯前向预测练出来的编码器强出一大截。

如上图（a），一组禁用动作器的 CEM 实验直接展示了这个效应。在 PushT 上，研究者把 INTACT 的动作读出能力完全摘掉，只保留被 INTACT 联合训练过的编码器和前向预测器，回到纯 CEM 盲搜：纯 LeWM（无动作监督）42.22% → + 物理逆监督 57.67% → + 目标意图监督 61.44% → + 降低 SIGReg 69.44%。

重点是全程没用到 INTACT 预测器，纯靠编码器-前向堆栈在 CEM 下的表现，就涨了 27 个百分点。多任务共享编码器上同样成立：INTACT 动作器禁用， CEM 70.08%，LeWM 66.17%。

动作监督能影响到没有直接参与动作训练的编码器，孙俊涵用了一个比喻来形容这个机制：「Encoder 的筛网孔洞会随着 Predictor 更新而适配」。动作似然的梯度反向传播，相当于告诉编码器：这个视觉特征对控制有用，留着；那个跟动作无关，压缩掉。

传统上判断一个表征好不好，常看的指标是它保留了多少信息。但论文发现，如上图，对控制这件事，关键在于「存对了什么」，保留太多跟动作无关的像素细节，反而会让搜索迷失方向。真正和成功率强相关的，是编码器能不能把相似的意图稳定地映射到相似的动作上。

在这个基础上，共享编码器的多任务实验把通用性推得更远。一个 ViT-Tiny/14 编码器同时处理四个任务，每个任务只保留一个很小的任务特定头，五轮训练后宏平均直接控制成功率 89.39%，在每个任务上都优于同等条件下用 CEM 搜索的纯前向模型。

其中完整模型比仅用目标意图的分支高出近 9 个宏平均点，这说明物理逆监督并非可有可无的附加项。

诚然，跨任务迁移和留一任务外泛化目前尚未成功，表征的通用性目前还是「一个编码器同时学四个任务」的层面，而非学会 A 任务就能部署到 B 任务上。不过它指向了一个根本判断：动作监督对编码器的反向塑造，是可以工程化复用的，下一步要过的关口是能否规模化扩展能力。

论文之外，关于工业部署与 Roboparty

众所周知，VLA 上真机的标准操作是冻结 VLM，根据几条真机轨迹微调动作头，就能有不差的表现。然而 INTACT 反过来，它微调的是包含 Encoder 的编码器。

这样做的逻辑在于，INTACT 的联合训练已经把意图到动作的映射炼得很可靠。相比于有了意图在靠近目标，真机面临的新问题往往是「新场景的视觉画面该映射到哪个意图」。

孙俊涵描述这个场景时说：「火山 1 号和火山 2 号，长得不一样，但你希望模型把它们都理解成，我要去的那座火山。改 Encoder 改的就是这个理解，并不是改你怎么走。」还有附带收益就是，推理速度不因微调变慢，仍然几毫秒。

与此同时，JEPA 工业化的第一关，已经过了。专访透露，团队内部已在真实机器人训练上跑通 INTACT，范围超出了论文里四个仿真 benchmark。接下来的重心是高保真仿真平台和模型本身的持续打磨。

孙俊涵的判断是：「INTACT 这种架构会是比 VLA 更好的未来，它真正理解语义。VLA 的语义理解和动作生成是脱节的——只有当自己能想出指令、身体能适应指令的时候，才是最好的。」

关于 INTACT 在 RoboParty Lab 技术版图里的坐标。RoboParty Lab 当前四条线同时推进：Local Motion、VLA、World Model（INTACT 归属这里）、Agent。INTACT 的定位是 World Action Model，长期目标逐步接替 VLA。

论文也明确指出，只要两个条件族共享监督的行为标签，共享条件算子就可以把它们的商语义对齐，而「非对称梯度」路由保留每个族的角色。这条路线比「世界模型要不要搜索」更值得往下想。