和 SADL 作者孙俊涵聊聊:JEPA 的表征塌缩从哪里开始?

这张图是本期访谈的人物介绍配图,图中展示的是本次访谈的受访嘉宾孙俊涵。他佩戴细框眼镜,身着浅灰连帽外套搭配印有图案的白色内搭,背景为带有黄色弧形装饰的深色底色。图左侧用醒目白色字体标注出他的姓名孙俊涵,下方补充标注了他所属的单位信息浙江大学CAD&CG、RoboParty,直观向读者介绍本次访谈中与大家探讨JEPA表征塌缩相关问题的嘉宾身份。

基于联合嵌入预测架构(Joint-Embedding Predictive Architecture,JEPA)的世界模型,会把图像编码成内部表征,再据此预测未来状态。

把画面转成数字的过程叫「编码」,得到的这组数字就是画面的「表征」。

如果两张有差异的图像经过编码后,得到的表征几乎一样,模型就很难通过表征作出正确判断。当许多原本不同的画面都被编码得难以区分,就会出现「表征塌缩」。

为了让不同画面的表征保有差别,研究人员通常会在训练中加入约束,但约束加在投影层的输出上。编码器先生成表征,投影层再对它加工。投影层可以重新组合、放大表征中还保留的差异,却无法找回已经丢失的信息。因此,投影结果符合约束,却并不能代表编码器保留了足够区分不同画面的信息。

如果投影层输出看起来仍有差别,编码器怎么会已经丢掉了区分画面的信息?

11 月 16 日,浙江大学孙俊涵为第一作者,清华大学助理教授赵昊、浙江大学教授章国锋为通讯作者,联合浙江大学 CAD&CG 全国重点实验室、清华大学智能产业研究院、RoboParty Lab、阿里巴巴集团和 InSpatio,发布研究《SADL: On the Demand-Supply Geometry of Representation Collapse》(表征塌缩的供需几何)。

这项研究将这处落差概括为投影层的「需求」与编码器的「供给」不匹配,并提出训练方法 SADL:在编码器保留的差别不足时,直接对编码器增加约束。

这项工作起于团队训练机器人世界模型 INTACT 时遇到的问题,随后也在另一款世界模型 LeWorldModel(LeWM)上做了验证。为了观察塌缩时会发生什么,研究人员用 Flash 注意力后端训练 LeWM,并撤掉原有的输出约束。四项任务联合训练一轮后,不同画面的编码结果已几乎一样,四项任务的平均成功率为 24.1%。

这是一张展示LeWM与INTACT两类模型在不同训练设置下各项性能指标的对比表格,表格标注了SR、N/O/D/C、f_H、f_Z、erank(H)、erank(Z)等多项量化指标的数值。其中标红高亮的是采用+SADL方案后得到的关键结果,对应文中提及的撤去原有输出约束、引入SADL后的训练效果,直观体现出加入SADL后,两类模型的性能均获得大幅提升,各项表征相关指标也得到明显优化。

这项工作在 X 上发布后也迅速获得了关注。仅一天时间,孙俊涵介绍 SADL 的帖子便收获近千个点赞,并获得 JEPA 提出者 Yann LeCun 本人的转发和回复,LeCun 留下了「Nice」的评价。孙俊涵随后回应称,得到 JEPA 创造者的肯定,对自己意义重大。

这张图是Yann LeCun的社交媒体界面截图,界面显示Yann LeCun与另外8人转发了该内容,发布时长为9分钟。图中文字显示Yann LeCun谈及自己开展JEPA相关工作时,许多人不认可JEPA或LeWM,但他并未动摇,还提到三个多月后相关的INTACT已有进展,该内容印证了文档中提及的Yann LeCun转发孙俊涵帖子并给出评价的相关信息。

这张截图展示了X社交平台上的相关互动内容:最上方是孙俊涵发布的推文,他向Yann LeCun致谢,表示能得到JEPA创造者的肯定对自己意义重大,还透露后续会推出更令人兴奋的工作。这条推文下方是JEPA提出者Yann LeCun的回复,仅用“Nice”表达对相关工作的认可。截图下方还展示了孙俊涵另外两条更早的推文,分享自己研发JEPA相关工作的历程,介绍已开源的INTACT项目,末尾还附上了该项目的arXiv论文链接与代码仓库地址。

借这篇论文发布的契机,42 号电波采访了论文第一作者孙俊涵,和他聊了团队如何定位表征塌缩、怎样判断何时该纠正编码器,以及这些训练进展离真实机器人还有多远。

表征塌缩从编码器开始

孙俊涵回忆,团队从今年 5 月开始做 JEPA,7 月底发布机器人世界模型 INTACT。当时项目的实验都用 MATH-only 后端计算注意力。这样做速度更慢,也更占显存,但换用其他后端时,「无论单任务还是四任务训练,都有可能发生表征塌缩」。团队试过更换用来防止塌缩的正则项,问题仍会出现。到了 8 月,他们开始逐个排查模型组件。

为了判断训练中的数值差异从哪里出现,团队固定初始参数、输入顺序、随机状态和优化器,只交换视觉编码器和预测器的注意力后端。编码器用 MATH、预测器用 Flash 时,3 次实验的前 100 步都与参考结果逐位一致。两者对调后,3 次实验都在第 1 步出现了数值差异。其中一次实验中,最早测到的差异出现在视觉编码器反向传播的梯度中,随后在参数更新中逐步放大。

这是对应JEPA表征塌缩相关对照实验结果的表格,表格标题说明本次实验基于完全一致的初始化条件、输入顺序、随机状态与优化器开展100步的组件对调测试,使用的随机种子为3072、3073、3074,同时标注首次数值偏差是轨迹层面事件,不属于配对秩降事件。表格罗列两组对调组合的测试结果:当视觉编码器为MATH、隐空间预测器为Flash时,3次测试全部实现位级匹配,未观测到首次数值偏差,第100步的最大参数差距为0;当两者对调,视觉编码器为Flash、隐空间预测器为MATH时,3次测试全部在第1步就出现首次数值偏差,第100步的最大参数差距处于0.0556至0.0671区间,直接佐证了视觉编码器是最早

第一步的数值偏差提供了排查线索。为了定位表征从哪里开始退化,研究人员又检查了 37 次训练中各层的输出。其中 13 次出现严重退化,有效秩降到同一训练轮次健康参考值的一半以下,最早观察到的异常都在视觉编码器里。有效秩反映样本间的差异分布在多少个有效方向上。这个数下降,意味着不同画面之间的变化越来越集中在少数方向。

「我们做了一些消融实验,想找出究竟是哪里先出现塌缩。结果发现,编码器倒数几层,也就是 ViT 的倒数几层,会率先出现塌缩。」孙俊涵说。

为了检验哪些层对注意力后端更敏感,团队把预测器固定为 MATH,只改变编码器中使用 MATH 的层,再用同一批 PushT 样本测量表征。只换第 7–9 层,编码器输出的有效秩为 7.53。只换最后的第 10–12 层,有效秩达到 27.09,接近全部 12 层都用 MATH 时的 26.84。

这是一张对照实验数据表格,对应文档中验证编码器不同层级替换为MATH后表征有效秩变化的相关内容。表格按Run A、Run B两组分类,分别记录不同的编码器MATH层级设置,以及对应得到的erank(H)、erank(Z)、erank(Ẑ)三类有效秩数值。其中标注Run B组仅将编码器第7-9层替换为MATH时,erank(H)仅为7.53;仅替换第10-12层时,erank(H)达到27.09,该数值十分接近编码器全部12层都使用MATH时的26.84,直观印证了文档提及的对应实验结论。

编码器已经开始退化,原有的训练约束为什么没能及时纠正它?一帧画面先经过视觉编码器 ViT,得到表征 H,再经过投影层得到 Z。预测器接收当前的 Z 和动作,预测下一时刻的表征。图中的 D(Z) 是原有的防塌缩约束,它直接作用在 Z 上。编码器里的变化要经过投影层,才可能影响这道约束。

这张图展示了与SADL相关的模型架构与正则化设计,左侧为模型的特征提取与预测模块,包含ViT、Projector和Predictor等组件,ViT会对输入画面O_t、O_t+1提取特征得到H_t、H_t+1,共享权重,Projector输出Z_t、Z_{t+1}和S_t、S_{t+1},Predictor基于状态a_t生成预测Z̃_{t+1},通过MSE损失训练。右侧为SADL的正则化部分,分为(a)需求正则化D(Z)和(b)供给正则化S(H, sg(Z)),需求正则化含Gaussian、Ring、Glyph三种形式,供给正则化引入k、q相关计算,sg表示停止梯度,该图与文档中JEPA表征塌缩

团队测量了 LeWM 和 INTACT 在编码和投影两个阶段保留的样本差异。刚开始训练时,不同样本之间的差异只占编码器表征总能量的约 0.01%。只用原有输出约束训练一轮后,这个比例在 H 中约为 3%–5%,在 Z 中达到约 30%–42%。以使用 Flash 的 INTACT 为例,样本差异在 H 中占 4.6%,在 Z 中占 41.5%。投影层减去一批画面共有的成分后,剩余差异在输出中所占的比例可以升高。

这张图片是一张包含模型实验数据的表格,展示了LeWM与INTACT两类模型,在不同设置下的各项实验指标数值。表格的表头包含了初始化状态、不同训练设置等,以及SR、N/O/D/C、$f_H$、$f_Z$、erank(H)、erank(Z)等多类关键实验指标,其中f_H、f_Z、erank(H)、erank(Z)、$\overline{\cos}_H$、$\overline{\cos}Z$、$L{\text{pred}}$这些指标对应上文提及的编码器表征相关参数,表格数据可用来支撑上文关于不同训练阶段样本差异的相关研究结论。

为了看这种落差在训练过程中何时出现,团队在 LeWM 上比较了编码器深层和 Z 的有效秩变化。实验使用 Flash,只用 SIGReg 约束 Z,并以归一化有效秩跌破各自峰值的 50% 为界。40 个「训练运行 × 任务」组合中,有 16 个组合的 Z 跌破阈值。其中 5 个组合的编码器更早跌破,7 个在同一次记录中跌破,另外 4 个从首次记录起,编码器就已低于阈值。此外,还有 5 个组合只观察到编码器跌破阈值。只监测 Z,就会漏掉这 5 次退化。

这是一张统计对比实验数据的表格,用来佐证前文关于JEPA表征塌缩起源于编码器的相关结论。表格设置了六列,分别对应实验条件、判定阈值、发生Z表征丢弃的样本数量、编码器出现异常的不同时间阶段的样本分布,以及仅编码器异常的样本数量。表格共列出三组不同的实验设置:前两组为SIGReg仅使用数据集的Flash模式,分别对应50%、25%的判定阈值,第三组为搭载MATH、排除仅编码器异常且引入SADL的实验设置。三组数据直观体现不同实验条件下表征塌缩的相关指标差异。

问题出在训练信号经过投影层时会发生什么。研究使用的投影层带有「批归一化」,训练时会减去同一批样本的平均值。假如给每张图的编码结果都加上同一组数字,平均值也会增加同样的量,相减后 Z 保持不变。数学上,这些共同变化的方向属于投影器 Jacobian 的零空间。这样一来,通过 Z 计算的预测损失和防塌缩约束,都无法沿这个共有方向给 H 传回纠正信号。共有成分可以继续占据 H 的大部分能量,真正能区分不同画面的变化只占很小一部分。

团队也测试了把约束直接加在编码器上。两组实验使用相同的注意力后端,只改变约束的位置。只约束 Z 时,H 的有效秩为 4.65。改为只约束 H 后,这一数值升到 27.90,Z 的有效秩为 9.67,预测器输出的有效秩则从 7.74 降到 2.96。编码器里的样本差异分布到了更多方向,预测器输出里的差异却变得更集中。

这是一组不同实验设置下表征有效秩的对照数据表,对应文中对比不同约束位置对各模块有效秩影响的实验内容。表格横向分为编码器类型、约束方式、erank(H)、erank(Z)、erank(Ẑ)五个维度,展示四组不同配置的实验结果:其中第二组Flash编码器仅约束Z的设置下,erank(H)为4.65;第三组Flash编码器仅对H施加约束的设置下,erank(H)升至27.90,erank(Z)为9.67,erank(Ẑ)从7.74降至2.96,直观呈现了约束位置变化带来的各模块有效秩数值变动。

这就给后续方法留下了两个问题。编码器里保住了多少画面差异?其中又有多少能传到投影输出?

SADL 按需约束编码器

团队提出了 SADL,全称 Supply And Demand Loss(供需损失)。这是一种训练方法,保留原来的预测损失和投影层约束,再给编码器加一项按需启用的「供给正则」。当编码器能保留并传给投影层的差异低于当前需求时,额外约束才介入。

「需求需要多少,我就让供给给多少。」孙俊涵在采访中这样解释。

具体到模型里,供给由两个分数决定。「激发」衡量 H 里有多少变化来自不同样本,以及这些差异分布在多少个方向上。「传输」则根据 H 和 Z 的线性关联,估计 H 里的变化有多少能在 Z 中找到对应。SADL 取两项中较低的分数作为供给 k。任意一项跟不上,都会限制实际供给。

需求 q 从 Z 的当前状态算出。团队用一个分数衡量 Z 满足原有输出约束的程度,用另一个分数衡量 Z 已经形成的样本差异,再取两者的几何平均。训练时,模型先用当前的 Z 算出需求,把它作为本次更新的参照。供给低于需求时,额外的纠正信号直接传给编码器,作用在较低的那项供给分数上。两项都达到需求后,惩罚归零。

这张图分为左右两个部分,是SADL按需约束编码器的原理说明图示。左侧(a)部分展示了集合S的前向读出与反向传播流程,用蓝色模块标注激发、传输、供应容量、供应正则化的前向运算路径,红色模块标注正则化满足、端点激发、需求容量的反向运算路径,各模块旁标注了对应的数学表达式,清晰区分前向数值流向与反向梯度流向,还标注了分步梯度等细节。右侧(b)部分是固定需求下的三种工作机制分区图,以二维坐标系划分区域,分别标注“激发活跃”“传输活跃”等不同状态,底部标注对应的S计算公式,直观呈现不同参数组合下SADL的运行模式。

为了检验激发和传输各自能发现什么问题,团队把需求固定在 0.70,分别制造两种缺口。第一组里,已有的样本差异能传过去,但编码器留下的差异太少。只检查传输时,200 步后激发分数仍是 0.494,完整 SADL 则把它提高到 0.713。第二组里,编码器保留的差异已经够多,传输却跟不上。只检查激发时,传输分数停在 0.314,完整 SADL 将它提高到 0.789。两组实验里,单独检查的那一项都已经达标,另一项的缺口因此没有触发纠正。

这张图呈现了三组实验结果,对应文档提及的SADL编码器相关实验内容,图(a)展示两种供给缺陷:蓝色线代表的$k_{enc}$与红色线代表的$k_{tr}$,随干预步数增加的供给项变化,“Term not in the ablation”的两条虚线为参照基准;图(b)呈现瓶颈转换情况,蓝色的$k_{enc}$、红色的$k_{tr}$与黑色的$q$随残差尺度$r$变化的供给项数值;图(c)对应保留惩罚,展示SADL的$S$、仅训练的$tr$-only $S$、仅激发的$exc$-only $S$,随残差尺度$r$变化的$S$数值变化,其中$tr$-only $S$在$r$为1.5到2.0时上升明显

团队接着在 INTACT 的四任务训练里检验「够了就停」这条规则。对照使用双向惩罚,供给高于或低于需求都会受罚。在相同权重下,训练一轮后,双向惩罚和完整 SADL 的平均成功率分别为 95.64% 和 95.58%。两组平均成绩接近,但各自成绩最低的一次相差 7 个百分点,分别为 88.42% 和 95.42%。

这是一张SADL相关技术 ablation 实验的对比结果表格,表格划分为Supply term、Gate and potential、Regularizers on H without gate or demand三大实验组,每组下包含不同变量设置的 Ablation cell。表格各列依次标注权重范围、权重数量、N/O/D/C指标、最佳成功率Best SR、最差种子结果Worst seed的具体数值,部分关键数据后标注了统计显著性标记,直观呈现不同参数配置下的任务性能差异,为前文提及的双向惩罚、完整SADL等方案的性能对比提供量化实验依据。

需求也可以设成固定值。团队在两种输出约束下做了比较。用 SIGReg 时,训练两轮后,固定 q=0.70 的四任务平均成功率为 96.8%,自适应需求为 96.5%。换成 VISReg,固定 q=0.68、0.70 或 0.90 都能达到 97.1%,自适应需求也达到 97.1%。固定值选得合适,同样能跑出接近的成绩。自适应需求让模型换一组训练设置后,仍能沿用同一套规则,从当前输出计算需求。

这是一张对比不同Demand参数设置下各类自监督训练方案性能的实验数据表,表格分为SIGReg对照组、VISReg对照组与Image准确率三大模块。其中q=0.68对应的VISReg控制第二阶段准确率、q=0.5对应的CIFAR-10准确率均以加粗格式标注,为该类数据集下固定参数的最优结果,自适应设置在所有维度均取得优异表现,验证了文中“固定合适参数可接近自适应效果”的相关结论。

SADL 改动的是训练目标,模型结构和预测流程照常运行。真正回到机器人任务里,还要看这些被保留并传到 Z 的差异能不能让预测更准确,以及预测的改善能不能转化为更高的控制成功率。

表征更稳,控制成功率更高

同一个世界模型分别学四项任务,和用同一个编码器同时学四项任务,结果会有什么差别?

孙俊涵在采访中谈到,他更关心的是,解决表征退化以后,JEPA 能不能继续往多任务联合训练走。团队为此在 LeWorldModel(LeWM)和 INTACT 上做了两套实验。单任务实验把 PushT、Cube、Reacher 和 TwoRoom 分开训练,再平均四项成绩。联合训练则让四项任务共用编码器和投影层。评测时,LeWM 会搜索候选动作,INTACT 直接输出动作,因此增益都在各自模型内比较。

团队用三种输出约束分别测试两款模型。训练一轮后,单任务实验的六组对照中,加入 SADL 后的平均成功率提高了 20.6–36.7 个百分点。四任务联合训练的六组对照中,增幅为 23.9–67.4 个百分点。以联合训练中的 INTACT、SIGReg 组合为例,编码器输出 H 的有效秩从 8.3 升到 53.1,投影输出 Z 的有效秩从 9.7 升到 53.1,预测下一状态表征的损失从 5.300 降到 0.017,四任务平均成功率从 28.2% 升到 95.6%。在同一组实验里,编码器保留的差异、预测的准确度和最终的控制成绩都出现了改善。

这张图片是实验的结果表格,对应文档中关于四任务联合训练的相关内容。表格标题为“Table 4: Epoch 1 official metric success rate (SR, %; mean ± SD over three seeds) and matched-stage fixed probes, for single-task training and joint four-task training”,展示了不同训练模式下、不同模型在各类指标上的数值,其中SR_SADL、rank相关数值、cos相关数值以及预测损失L_pred是核心内容,这些数据对应文档中联合训练提升编码器和投影输出

平均成绩上去了,换个随机起点还会不会塌缩?团队另用 10 个随机种子重复 LeWM 四任务训练,固定使用 Flash 后端和 SIGReg 输出约束。训练两轮后,只用原有约束的 10 次训练中,5 次退化、5 次塌缩。加入 SADL 后,10 次都达到研究设定的正常标准。孙俊涵回顾这组结果时说:「本来是有退化和坍塌的,而现在既不退化也不坍塌」。对联合训练来说,这组结果补足了平均成功率看不出来的一点,即换了随机起点,模型还能不能稳定训下去。

团队又单独对齐注意力后端、数据顺序和更新次数,检查提升是不是来自换用 Flash。在 INTACT 上,两轮训练后,使用 MATH 时,加入 SADL 让四任务平均成功率从 70.0% 升到 96.3%。使用 Flash 时,从 66.1% 升到 96.3%。LeWM 在两种后端下也都有提升。四组对照里,加入 SADL 训练一轮的成绩,都已经超过了相同后端下基线训练两轮的成绩。 以 INTACT 为例,这两档训练预算分别是 5,695 次和 11,390 次参数更新。

这是文档中展示的Table 40表格,内容为不同模型在加入SADL前后,不同训练轮次的四任务宏观成功率数据。表格设置SIGReg作为需求正则化器,采用3个训练种子,官方评估使用种子0、1、42,每个任务及评估种子对应100个回合。行对应INTACT和LeWM两个模型,每类模型分别对应MATH和Flash后端;列分为仅D训练第1轮、加入SADL训练第1轮、仅D训练第2轮、加入SADL训练第2轮四个组别,呈现出对应模型和轮次下的成功率数值及误差范围。

接下来,团队把输出约束换成了不同的分布目标。训练过程中,研究人员追踪了四种设置下的四任务成功率,其中包括环形混合分布和球壳分布。采用环形混合分布时,加入 SADL 的 INTACT 在第 5 轮达到 97.8%。如果想看 LeWM 加入 SADL 前后的变化,可以在同一小图里对照红线和灰线,这两条线对应同一个模型。

这张图是Figure 6,展示四种不同Demand Regularizers设置下的四任务官方成功率变化曲线,横轴为对数尺度的训练轮次,纵轴为官方成功率百分比。四张子图分别对应Energy-Gaussian、Student-t5、GMM-Ring、Sphere shell四种分布场景,每张子图中标注了INTACT在第5轮的最高成功率数值,用蓝色线表示INTACT+SADL、红色线表示LeWM+SADL、灰色线表示仅采用D-正则的LeWM。右侧标注说明:仅用D训练易出现表征塌缩、结果不稳定,加入SADL后可得到稳定的高质量表征。

把八种输出约束的成绩放到一起,INTACT 训练一轮后的四任务平均成功率在 92.33%–95.81% 之间,其中七种超过 95%。但把平均分拆开看,任务间的差距仍然很明显。比如用 SIGReg 时,四任务平均成功率是 95.58%,Cube 和 TwoRoom 在这组评测里都达到 100%,但需要把 T 形积木推到位并对准朝向的 PushT,成功率为 85.44%。在八种设置里,PushT 的成绩介于 76.67% 和 86.33% 之间。

这是第5号实验表格,对应epoch 1阶段的官方联合训练结果,共纳入8种不同正则化配置的相关数据,采用诊断对比任务完成测试。表格以三类均值统计指标呈现结果,数值格式为均值加减标准差;实验使用的主干模型LeWM基于维度为300的Pure-CEM构建,设置λ_S取值为0.01,$\mathcal{J}{proj}$和$b{1024}$分别对应投影Fisher代理指标与有限样本kNN偏差代理指标。表格清晰罗列了LeWM和INTACT两类模型,在G(高斯)、NG(非高斯)、density-free(无密度约束)三类不同目标下,针对λ_D、PushT、Cube、Reacher、TwoRoom等任务与指标

四项任务共用一套编码器时,SADL 能让模型更早取得较高的平均成绩。PushT 的单项结果也说明,即使平均成功率超过 95%,位置和朝向都要对准的操作仍有明显的提升空间。

从图像分类到真机,SADL 能走多远

SADL 最初是为了解决机器人世界模型的训练问题。如果把任务换成图像分类,它还能让编码器更早学到有用的表征吗?

团队选了四个数据集做配对实验。每组使用相同的数据、模型结构、训练设置和评测方式,只比较加不加 SADL。计算激发分数时,研究人员还做了一处针对图像的调整,先把同一张图经过不同裁剪和增强后得到的表征取平均,再衡量不同图像之间的差异。这样,分数反映的是图与图之间有多少区别。

在 ImageNet-LT 和 Galaxy10 上,团队用狗、鸟和星系的样本展示模型关注的区域,并通过固定样本在共享三维坐标系中的投影,比较加入 SADL 前后的表征分布。分类准确率则用来检验这些表征能提供多少类别信息。ImageNet-LT 训练到第 100 轮时,加入 SADL 后的平均准确率为 22.81%,基线为 22.02%。Galaxy10 在第 100 轮领先 2.21 个百分点,到第 400 轮,差距缩小到 0.35 个百分点。把前后两个时间点放在一起,就能看出其中一部分收益来自模型更早学会区分类别。

这张图是Figure 3,对应文档中ImageNet-LT与Galaxy10的实验对比内容,分为上下两部分:上半部分对应ImageNet-LT数据集,下半部分对应Galaxy10数据集。每部分都依次展示了代表性的注意力示例图、共享三维特征几何结构的可视化结果,以及配对的在线验证准确率曲线。图中标注出基线方法VSReg存在表征退化的问题,而加入SADL后的方法收敛速度更快、训练过程更稳定,直观印证了文档中SADL帮助模型前期提速、后期收敛的实验结论,同时标注了两处方法间的准确率差值,量化呈现SADL的性能优势。

Imagenette 数据集上,这种「前期提速、后期收敛」的趋势更加明显。第 20 轮,加入 SADL 的模型平均准确率为 44.51%,基线为 35.60%,7 组配对训练全部提高。到第 800 轮,两组的差距缩小到 0.44 个百分点。CIFAR-10 在第 1 轮也提高了 1.83 个百分点,但到了第 100 轮,两组分别是 78.52% 和 78.50%,差异落在随机种子的波动范围内。图像实验里最一致的收益,是在训练早期学出能用于分类的表征。训练到最后还能领先多少,要看数据集和训练设置。

这张图展示了ImageNet-LT、Galaxy10、CIFAR-10、Imagenette这四个图像分类数据集上的训练轨迹与配对精度增益,顶部子图为分类验证准确率,底部子图为SADL相对于基线的配对精度增益,单位为百分点。图中蓝色线条代表基线方法,红色线条代表SADL方法,曲线与对应区间带呈现7组配对训练种子下的均值与标准差,各数据集下方标注了对应方法的精度提升数值,直观佐证了相关结论:SADL的性能增益集中在训练早期,训练后期不同方法的精度差距会随训练轮次推进逐步收窄。

采访中,42 号电波还问到了模型训坏后能不能补救:「如果模型已经训坏了,中途加上 SADL,还拉得回来吗?」

「准确来说,有一定概率可以拉回来。」孙俊涵说。

团队选取了接近塌缩的训练存档,让两组从同一个存档出发继续训练。以 INTACT 为例,从随机种子 3072 的存档续训后,加入 SADL 的四任务平均成功率为 53.92%,对照组为 24.42%。换到种子 0 的存档,仍用 0.01 的供给正则权重,加入 SADL 的一组得到 26.50%,低于对照组的 28.92%。这些实验的起点都还保有部分样本差异,恢复效果会随存档和约束强度变化。

到真实机器人落地,孙俊涵认为 JEPA 的潜力落在 System 0,也就是需要快速响应的底层控制。他看重的是,模型可以在表征空间里预测动作会带来什么变化,省去重建完整画面的步骤。他认为,把计算用在会影响动作的信息上,有机会让模型做得更小、响应更快。

他在采访中也提到,团队正在推进从仿真到真实场景的工作。这项研究验证的是训练稳定性和仿真控制,System 0 设想还要靠真机上的响应延迟和任务成功率来检验。