杨立昆 JEPA 最新论文，端到端规划的下一程在哪？

有关具身智能，JEPA 是世界模型内一个无法回避且值得反复讨论的技术路线。它拥有很多颇具希望的特质：更好的抗干扰能力、更高效的计算与训练效率、极低的数据标注依赖......更重要的是，JEPA 基于表征学习来捕捉物理世界的规律，从而进行实 时规划、预测未来。这种思维模式非常符合人类学习、进化的基本路径，且已具有相当完备的学科理论和研究基础。JEPA 一度满足研究者对实现通用具身智能的许多技术想象。

「Maybe This Is It.」

遗憾的是，当前 JEPA 在推理层面的缺陷与它的长处同样明显。相较于像素生成的视觉学习，JEPA 并不直接生成像素或画面，无法像生成式模型那样输出直观的视觉内容。在需要视觉生成的场景下，JEPA 通常需要与渲染或生成模型结合使用，这也使得它的通用能力目前相对局限。相较于 3D 显示输出或视频扩散的训练范式，JEPA 难免黯然失色。

由于 JEPA 性能高度依赖表征空间的质量，若编码器学习到的表征不佳或出现「表征坍塌」，预测效果会大打折扣，难以完全解释模型对复杂物理场景的推理过程。因此，其在复杂长时序任务规划、真实开放环境的泛化、以及机器人部件的实时控制稳定性上，仍面临工程化落地的挑战。

但是，这不应被认为是一个无法解决的问题。从长期来看，JEPA 的这个「缺陷」其实并不致命。关于表征和潜空间的关系，或许是可以随着长期研究而改善，并最终被解决的。

近年的研究已经显示，JEPA 能够支持机器人的具身交互。V-JEPA 2 在视频学习的基础上，引入机器人动作数据，用于朝目标图像规划。2026 年发布的 V-JEPA 2.1 进一步改善了图像与视频中的空间细节和时间一致性，并在其测试中提高了真实机器人抓取成功率。

该怎么做？当下，是对模型分层。

杨立昆团队发布的最新论文提出了一种潜空间分层学习规划的世界模型，称为 H-JEPA。从中观望，这项研究不仅在模型层面作出了跨越单一潜空间的架构创新，并且超越了一部分 JEPA 的过往局限。研究团队报告，三层模型将到达目标的成功率从约 18% 提高到 73%，同时改善了计算量。

论文由 Wancong Zhang 与 Basile Terver 共同领衔，LeCun 与 Randall Balestriero 共同指导。H-JEPA 让不同层级分别预测远近不同的未来，并学习各自需要保留的信息。底层追踪较细的变化，上层逐渐形成更粗略的判断，再把远处的目标拆成下层可以接手的小目标。

将模型置身「迷宫 」

世界模型的作用，就是帮助机器人预估行动的后果。执行动作之前，系统可以比较几种候选方案。如果手臂这样移动，物体接下来可能在哪里？如果换一个方向，是否更接近目标？随后，机器选择其中一种执行，再根据新看到的情况调整计划。

但它们在单一潜在空间、且往往在单一时间尺度内预测与规划，容易产生局限。在单一时间尺度下，由于长时程预测需要展开大量细粒度步骤，期间预测误差不断累积，动作搜索空间也随之增长。由于模型数据有赖于单一共享潜在空间，JEPA 必须让表征关系和任务目标相匹配。尽管包含所有快速变化细节的潜变量可能起到较好的作用，但当目标比状态更抽象时，它也无能为力。比如，目标计划让机器到达某个位置，而非匹配某个动作姿态，这在机器看来就更加费解了。

那么，H-JEPA 到底是什么？简单概括，这更像一种内部空间呈「金字塔式分层」的世界模型。

杨立昆团队尝试对模型内部拆分层级来执行这段更长的任务，从观测与动作轨迹中学习潜在预测模型的层级。在第一层中，模型处理最细粒度的观测流，将每一个状态和动作进行编码后，将一部分信息往第二层递送，高层隔一段时间看一次整体变化。

在这过程中，消退的状态和动作保留在了第一层。Level 2 每隔两个底层时间步取一次状态，再做进一 步处理；同时，把这段时间里的两个动作合成一份动作记录。由此，每个更高层则以更粗的步长接收下一层产生的潜在状态，得到一组堆叠的 JEPA 世界模型，每层都有自己的观测编码器、动作编码器和潜在预测器。

所有层都依据过去的潜在状态和动作预测未来的潜在状态，再拿实际发生的情况来比对，同时用 SI GReg 来维持状态的稳定性，防止模型把所有画面记成同一个状态，失去区分能力。

每一层都进行端到端训练之后， H-JEPA 为不同层级的模型设置目标与子目标，让模型学习不同时间跨度上的规划，底层关注短期动态，高层规划更长远的状态。 分层世界模型的每个更高层可以预测更长时间范围，并在其潜空间中保留仍可预测的内容。高层以大步长处理慢特征，服务于长期预测和高层规划；低层以小步长处理快特征，服务于短期预测和低层控制。于是，我们在 H-JEPA 上看到了类似大脑皮质的层级结构：皮层区域形成内在时间尺度的层级，越高层的表征变化越慢。

那么在具体的情境中如何执行？

团队将模型放入了一座数字迷宫，以观测模型如何规划走出迷宫的移动策略。模型顶层可以先规划通往目标的大致进展，中间层将它细化成较近的落点，底层再决定执行。期间，系统重新观察环境，更新计划。

通过这种方式，H-JEPA 让模型自上而下地完成规划。模型先在高层推演一条走出迷宫的大致路线，比如「先到走廊口，再转弯，最后到终点」。高层预测出的沿途状态，就成为底层的一个个小目标。随后，Level 1、2 再计算具体应该怎么动，输出可以执行的动作。

细节「取舍」

上述设计进一步改变了模型各层利用潜空间观察世界的方式。团队由此为 H-JEPA 搭设了四个层级的 Latent Space，以进一步实验。模型的第 1 层 JEPA 使用了 LeWM 为基底，再通过 ViT-Tiny 编码器将每幅图像概括为全局表征，并搭配一个因果 Transformer 预测器。这一次，团队采用 FourRoom Distractors 充当导航，将受控智能体与一个独立运动的干扰物放在一起，后者在偶尔随机瞬移之间平滑运动，同时，Visual AntMaze 要求四足机器人穿越迷宫。

研究者得出了有趣的发现。将各层内部信息还原成图像后，蚂蚁的位置和迷宫等表示位置关系的布局在各个层级中清晰可辨，但身体的误差却越拉越大了，这导致了 Level 2、Level 3 层级机器人快速变化的躯体姿态越来越模糊，以至于无法恢复。

与此同时，在迷宫中动来动去、充当 H-JEPA 任务干扰物的干扰物（即图中蓝色小点）却随着层级的上升而越发模糊，直至几乎消失，而模型的高层对自身本体的感知仍然维持得非常稳定。

两项发现说明，如此设计下的 H-JEPA 对机器的本体、位置能够有着非常好的一致性感知，更抽象的目标规划层与下放到具体细节的规划层各司其职，还保持着很好的抗干扰性。期间，一些数据在第一层、第二层就被编码器吸收得非常好，自然没有必要再往更上层传递。这种「抓大放小」可能促使模型各层对不重要的、需要适当忽略的表征保持自己的判断，再作用于实际行动，反而让模型习得了细节的取舍。

不过，JEPA 最重要的问题还是在长程任务，因为时间尺度拉长后，表征关系容易损耗或者崩塌。那么如果把时间尺度拉长，H-JEPA 模型的表现如何？

与 LeWM、HWM 等过往模型相比，H-JEPA 不仅在测试中表现出更高的任务成功率，面对固有短板，H-JEPA 也有明显提升。团队对不同层级的模型进行测试，比较其在不同的潜在空间中进行规划的精细度。于是在迷宫当中，与星号位置距离的计算成本随着模型内部层级的上升而下降，蓝色的地方表示模型认为与目标位置差距小，而红色则表示越来越大。

结果发现，每增加一个层级，模型都可以在更少的规划器计算量下获得更高的成功率。到了第二层、第三层，沿着走廊出现了更连续的颜色变化，星号附近差距较小的区域也更宽。模型因此获得了更清楚的线索，用来判断哪些候选行动正在接近目标。这种 高层表征让模型更容易分辨通往远处目标的进展，为迷宫中的路线规划提供更清晰的指引。

得益于层级拆分，H-JEPA 规划运动的成本也变得更小了。杨立昆团队将模型第一层、第二层的内部记录拆分进行比对，不难发现，无论是 FourRoom Distractors 的抗干扰、Visual AntMaze 带来的视觉识别等等，追踪较近子目标时，底层代价沿着轨迹下降得更稳定，这说明模型底层的规划成本被控制在了相对有限的范围，且两者的下降趋势基本保持一致。 这样一来，逐层目标的设定和抽象目标的拆解有助于降低 JEPA 面对长程任务的计算量。底层模型对进展的判断更稳定，更容易逐段推进任务，按部就班地开展规划。 当然，个别区间内的 Level 1 和 Level 2 之间的成本差有时会升高、停滞或来回波动，Level 1 子目标的规划成本仍然会随着一个个子目标的生成而呈现不同程度的跳跃式下降，但瑕不掩瑜。

离线部署

当研究者把模型带到真机部署的数据集中进行离线评估，一个更麻烦的问题出现了。

由于 DROID 数据集包含了人类遥控真实机器人拍摄的操作视频，不同回合可能出现在不同房间，桌面、物体和拍摄角度也随之改变。在单段视频里，房间背景通常比机械臂更稳定。如果训练只鼓励模型预测后续表征，并要求表征之间保持足够的差异，模型可能找到一种省事的办法来记录场景。它记录厨房、办公室或某张工作台，就能区分大量视频；同一段视频的背景又不太变化，下一时刻的描述也容易猜中。机械臂怎样运动、夹爪怎样接近物体，这些我们认为关键的细节反而可以被机器舍弃。

这种现象称为「慢特征坍塌」。这里的「坍塌」不意味着所有图像都被压成同一个数字，模型仍然能区别许多画面，却丢失了行动所需的重要信息。好比模型记住了机器人在哪个房间，却没充分记住机器人应该做什么。

因此，研究团队采用了另一种思路，即让模型根据前后两个状态，反过来推理中间的执行动作。例如，模型需要依据移动前后的信息判断机械臂朝哪里移动，必须保留与动作有关的变化。这并不要求人为给每个物体进行数据标注，但需要训练数据提供动作信息。

在这项评估里，加入动作相关约束让单层模型从几乎无效变成了有用的基线，H-JEPA 的层级结构随后起作用。让模型保留动作信息后，规划轨迹才得到改善。这也说明，不能把所有进步都归结于「分层」。

由此发现，忽略难以预测的细节，有时能让长期规划更有效，但「容易预测」并不自动等于「对任务重要」。一个静止的背景很容易预测，一次转瞬即逝的抓取接触却可能决定任务成败，H-JEPA 并没有彻底解决这条界限如何划定。在特定条件下，抽象的目标规划确实有效，而也有可能将模型带偏。

研究还测试了四个模拟导航和操作环境。在推动 T 形物体的任务中，模型增加至两层后表现不错，增加到三层后反而退步。研究团队认为，原因可能与数据本身的长度不够有关。由于 高层需要跨越更长时间的训练片段，而这个任务的回合较短。为了凑齐更长的片段，三层模型每轮能够利用的训练转移数量只相当于单层模型的 58%。

H-JEPA 带来最重要的方向性启发，是把注意力放到模型内部的潜空间架构上。理论上，一个世界模型同时需要两种能力，既保留操作时不能错过的细节，又把长任务压缩成容易安排的阶段。这两种能力怎样衔接，显然还会产生新的问题。比如，潜空间拆分后模型的规划效率怎样，子目标的逐层预测能否有助于 JEPA 的交互时延得到改善？如果物理世界的变化极快，分层规划的 JEPA 该怎么与具身智能相嵌合？也许潜空间的层级并不是分拆得越多越好。此外，让模型高层围绕事件完成的时刻来更新，而不是机械地隔若干帧更新，也是作者提出的未来方向之一。这些都让世界模型与生成机器动作的具身模型有了更多的遐想空间。

视线放远

值得注意的是，这篇论文可视为杨立昆创办的 Advanced Machine Intelligence 进一步深入 JEPA 方向的又一力作。从 2025 年 11 月杨立昆出走 Meta 后，其创业公司 AMI 已经完成 10.3 亿美元融资，投前估值 35 亿美元，投资方包括英伟达、三星和 Toyota Ventures。

目前，公司致力于构建能够理解环境、保留记忆并持续规划的智能系统。稍早之前，医疗 AI 公司 Nabla 已宣布与 AMI 建立独家战略合作，获得相关世界模型技术的优先访问权，探索能够理解工作流程、预判后果的医疗智能体。结合团队将下一步研究放在了实体机器人的闭环验证和可靠作业，或许不难窥见 AMI 未来瞄准的商业路线。

值得讨论的是，目前的世界模型中，与具身结合紧密的路线也呈现出越发多元的趋势。作为智能体对物理世界的内部模拟器，世界模型赋予具身模型思考和预见的能力。以 WAM 为代表的模型让世界模型与具身模型彼此融合，JEPA 则选择预测抽象状态，并把计算效率集中到一批有效的表征规划上，两者之间亦有交叉；英伟达 DreamZero 让模型感知的世界与动作不再彼此分离，DeepMind 则先搭建供智能体训练的环境。视频观测、潜在状态、结构化表征，「预测未来」构成具身大脑最重要的命题。

这些前沿研究解决问题的思路分化、再合流，在目标、环境、结构、推理、效率之间，不同团队做出了截然不同的取舍，但核心目的都是为了让机器之心也能够适应快速变化的物理世界。无论从哪条路线出发，在这个领域中的人们相信，数据藏在本体之中、构造机器的神经元远非天方夜谭。随着行业领军人物的前瞻性研究持续推进，我们或许会发现具身架构与世界模型之间的联系越发紧密，直到真正融为一体。

何不保持耐心观望？