仉尚航等提出 HAF-VLA，让人形机器人分层生成协调的全身动作

人形机器人要学会自主走向目标、俯身、再伸手抓取，卡点在于全身动作的协同生成。腿、腰、头部与双臂串联在同一条运动学链上：底盘偏移几厘米、腰部角度差几度，手臂就得伸得更远代偿。持续代偿会让上半身动作越来越僵硬，稳定性持续变差。固定底座、轮式平台上的视觉语言动作模型没有这类麻烦，整套方案迁移到人形机器人后，误差会沿着链式结构逐级放大。

10 月 19 日，北京大学计算机学院多媒体信息处理全国重点实验室、北京人形机器人创新中心、南开大学、西安交通大学与清华大学联合团队发表论文《HAF-VLA: Hierarchical Action Flow Framework for Humanoid Vision-Language-Action Control》。论文共有 15 位作者，顾朗哲、Chengkai Hou、Meng Li 为共同第一作者，唐剑、仉尚航与车正平担任通讯作者。仉尚航现任北京大学计算机学院助理教授，主要研究开放世界泛化机器学习与计算机视觉。她曾在加州大学伯克利分校 BAIR 从事博士后研究，参与的 Informer 研究获 AAAI 2021 杰出论文奖。

视觉语言动作模型（VLA）的核心思路，是让模型读取视觉画面与语言指令，直接输出动作。RT-2、OpenVLA 将视觉语言预训练迁移到机械臂操作；π0 与 π0.5 改用流匹配机制，从噪声逐步去噪，一次性生成一段连续动作块。这种方式不用逐帧反复推理，保证动作时序连贯，在桌面、轮式机器人任务中表现稳定，对陌生物体和场景也拥有不错的泛化能力。Cosmos Policy 等世界模型路线则选择另一条路径：先学习环境动态变化规律，再通过动作头把预测转化为控制信号。两条路线路径不同，目标都是打通感知到动作的端到端链路。

但人形机器人领域的多数研究，都避开了直接改造通用 VLA 模型。有的在潜空间学习技能，再拼接组合成全身动作；有的设计跨本体动作表征，融合多台机器人数据集；还有团队依靠人类第一视角视频，从零训练人形基础模型。遥操作方向积累了丰富的全身动作数据，研究重心放在采集接口与底层控制。

这些方案各有所长，却都存在局限：要么需要完整重训模型，要么动作输出停留在潜空间，无法直接映射到机器人关节指令。

**直接照搬通用模型同样难以落地。**人形机器人需要在高维空间同步控制行走、姿态、视线与双手。如果一次去噪同时输出全部 26 个动作维度，腿、腰、手臂会在同一条轨迹上相互拉扯，关节动作没有先后约束。底盘微小偏移就会带动腰部倾斜，迫使手臂大幅伸展补偿，动作精度和稳定性同步下降。

团队瞄准的正是这个结构性矛盾：动作生成能否顺着人体运动学链条分阶段推进，而不是把所有维度一次性摊开求解。

HAF-VLA 复用 π0.5 的视觉语言前缀编码器与动作专家权重，把单次去噪拆分为三次累加式去噪。

第一阶段只激活腿部、技能模式与头部；第二阶段加入腰部；第三阶段再放开双臂与手部。

每段去噪完成后，得到的动作预测编码为 KV 缓存，传给下一阶段继续细化。在六项真机任务中，模型平均归一化得分从 π0.5 的 53.3 提升至 68.3。

先迈步，再压腰，最后动手

HAF-VLA 单次可预测未来 100 步的整块动作，模型动作维度为 32，其中 26 维生效：双臂占据 14 维关节目标，左右手各 2 维开合指令，底盘速度 3 维，头部 2 维，腰部分别对应横滚、俯仰、偏航与高度共 4 维，外加 1 维技能模式；剩余 6 维做零填充。

全部维度依据遥操作数据的 1% 与 99% 分位数归一化，训练与部署使用同一套正反变换，关节目标、开合值、速度指令和技能指令被压缩至统一数值区间。

底盘与腰部不由模型直接输出扭矩。腿部行走、腰部姿态交由 AMP 风格强化学习控制器，跪姿动作采用 BeyondMimic 风格的动作跟踪控制器。

技能模式这一维度区分行走、站立、跪姿三种状态，模型将其预测为连续标量，部署时完成反归一化，映射为 0、1、2 三个离散模式。行走切换至站立的过程中，封装层会插入约 2 秒零速等待，避免模式突变。上半身采用位置控制接口，手臂输出目标关节位置，手部输出归一化开合值；头部策略接口固定 2 个维度，天工 3.0 驱动两自由度，天工 2.0 仅支持俯仰，多余维度由平台封装直接忽略。

团队将 26 维动作空间拆分为三个逐步扩充的子空间。

• 第一阶段仅激活腿部、技能模式与头部，先行确定行进方向与视线；
• 第二阶段纳入腰部，在既定运动规划之上调整姿态与上肢可达范围；
• 第三阶段才开启双臂与手部，补齐完整动作。

三阶段共享同一动作空间与维度掩码，掩码沿时间维度广播，未激活维度在输入置零、目标速度设为 0。损失函数在全部 32 维取均值，包含零目标维度。模型始终在统一空间内学习，无需为每个阶段单独学习表征；维度排布顺序保持不变，部署仅切换掩码，无需改动动作向量结构。

动作块设置为 100 步，实际只执行前 40 步。该取舍平衡整块预测能力与重规划频率：

• 动作块太短，策略推理频繁，会增大控制回路延迟；
• 动作块过长，环境一旦变化，后续预测步骤失效。

100 步预测、40 步执行的配置下，三段推理总耗时约 0.12 秒，单次推理支撑 40 步动作，适配人形机器人行走与操作节奏。前两段推理结果不会落地执行，仅作为第三段的条件，新增的两轮去噪不会拖累执行链路。

**串联三阶段的核心是跨阶段 KV 缓存。**视觉语言前缀仅计算一次，三个阶段复用同一份图文条件。每完成一轮流匹配去噪、得到干净动作预测后，该预测搭配阶段嵌入，再次送入共享动作专家，提取自注意力 KV 缓存，作为下一阶段的输入条件。缓存必须取自上一阶段完成去噪的最终动作，不能使用去噪中间结果，只有前者才是完整可用的运动规划。

最终仅执行第三段输出，前两段只保留运动与姿态的中间表征。训练阶段，这份缓存由带掩码的真值动作块重新编码，梯度在此截断；推理阶段替换为上一段预测结果，保证依赖结构前后一致。

三阶段共用同一个动作专家，依靠可学习的阶段嵌入标识当前激活的子空间。团队没有为腿、腰、手臂单独设置专家，核心考量是数据规模：每项任务仅有 120 条演示样本，如果参数拆分给多个专家，每个模块都难以充分学习；共享专家则能让不同阶段的动作表征相互复用。

阶段嵌入标记当前阶段，视觉语言缓存承载感知与指令，动作缓存记录已确定的运动规划，三类条件叠加，同一套权重即可实现分阶段生成。

该方案与在潜空间内构建全身动作的路线存在本质差异。

• 潜空间方案先学习技能编码，上层选择编码、下层解码输出关节动作，策略输出停留在低维隐变量；
• HAF-VLA 的三个阶段都直接输出关节、速度、开合这类可执行物理量，阶段之间传递的是动作表征，省去解码环节，策略能够直连底层控制器。代价则是每个阶段都在 26 维空间完成去噪，算力消耗集中在动作维度。

后段可以小幅修正前段确定的维度，这也是「软细化」和「硬拼接」的分界。第三段去噪时，前两段对应的腿部、腰部维度依旧保留在动作空间内，模型能够微调参数，但整体轨迹不会大幅改动。

消融实验显示：冻结前段、禁止后段修改，分数下降至 66.7；三段输出单独计算再直接拼接，分数跌至 46.7。允许在后序阶段微调已有规划，效果优于锁死规划或分段独立计算。

这套时序设计源于人形机器人的运动学链式特性：**腿与腰部先锁定底盘位置和身体高度，手臂再在确定的可达空间内执行抓取，上半身就不用为底盘偏差被动代偿。**消融实验的顺序对照也印证了这个逻辑：把腰部前置，或是将手臂放在第一阶段，在搬箱到桌面任务上的得分都会明显下滑。

基于 π0.5 搭建分层动作框架

HAF-VLA 并非从零训练全新模型。它基于 openpi 中的 π0.5 检查点搭建，选用 gemma_2b_lora 分支，冻结 PaliGemma 视觉语言骨干，仅训练 LoRA。

LoRA 秩设为 16，alpha 取 16.0，缩放系数为 1.0，不添加 dropout；注意力与前馈层的查询、键值、输出、门控，以及升维、降维投影模块均挂载 LoRA。动作专家采用 gemma_300m，执行全参数训练；新增的阶段嵌入、动作输入输出投影与时间 MLP 同样参与训练，视觉编码器在该配置下不冻结。

这套适配路线成立的前提，是 π0.5 已完成权重收敛。动作专家在海量移动操作数据中习得连续动作建模能力，视觉语言分支则建立起图像画面与文本指令之间的语义对齐。

HAF-VLA 复用这两组权重，新增分层阶段结构，重新学习动作的时序分配，视觉感知与语言理解能力完全继承原有模型。训练只更新 LoRA 和新增层参数，PaliGemma 骨干与动作专家主体保持不变，可优化空间集中在新增结构上。

训练优化器选用 AdamW，β1 等于 0.9，β2 等于 0.95，权重衰减设置为 1e-10，梯度范数裁剪至 1.0。学习率采用余弦衰减，预热 1,000 步，峰值 2.5×10⁻⁵，衰减区间 3 万步，终止学习率 2.5×10⁻⁶，全局批大小 64，默认训练 5 万步。训练构建跨阶段缓存时，采用带掩码的真值动作块，而非模型自身预测结果，并在缓存位置截断梯度，以此稳定优化过程。

推理阶段的时序依赖结构与训练保持一致，缓存依旧取自上一阶段输出。训练输入真值、推理输入模型预测，二者数据源不同，但底层结构必须统一；一旦缓存来源改变，生成动作就会失控。

三段损失直接相加，每一阶段都对完整 100 步、32 维动作回归速度场，分母为批大小、时间长度与维度三者乘积。非激活维度的目标速度置零，模型在这些维度学习保持静止；部署切换掩码后，对应维度输出依旧贴近零，不会随阶段切换出现跳变。统一的目标函数让三个阶段共用同一损失，新增分层结构无需额外设计损失项。

训练数据来自同构遥操作采集。主从臂运动学结构与人形双臂一一对应，直接控制手臂与手部动作；手柄管控底盘速度与腰部运动，IMU 获取头部朝向，机载第一视角相机提供观测。

每个任务采集 120 条演示样本，七个任务合计约 840 条。采集会刻意分散初始位姿：装洗衣物任务在床的三处起点分别采样；取衣任务将衣物沿晾衣杆排布在四个位置；收拾桌面在桌前两排、每排三个横向偏移点位采集；投球任务把球体与目标箱体放置在九个标注位置。广泛的位姿覆盖，避免策略把固定站位当成默认前提。

两台机器人的状态向量独立拼装。

• 天工 3.0 为 99 维，包含左右手臂、双手、触觉、头部、双腿关节、站立状态与惯性测量单元特征；
• 天工 2.0 为 36 维，涵盖手臂、双手、腰部位姿与腿部运动速度。

两套状态均按百分位归一化，遵循 π0.5 的离散状态输入规则拆分，再拼接进提示词，token 上限分别为 385 与 192。尽管观测维度差异巨大，但共用同一套策略接口，硬件层面的区别由观测封装层消化。

同一份 4 维腰部指令，在两台机器人上物理含义并不相同。

• 天工 3.0 的腰部由三个关节搭配下蹲高度构成，指令直接映射关节目标；
• 天工 2.0 输出整体腰部位姿，依靠腿腰协同完成姿态实现。

头部控制同理，二者分别为两维、一维自由度。所有硬件差异全部封装在部署层，策略层只读取统一的 26 维接口；更换机器人平台仅调整封装，模型本身无需改动。

推理按阶段顺序执行，每段从独立采样噪声出发，各完成 10 步欧拉去噪，三段计算完成后取用第三段输出。机器人先执行前 40 步动作，再启动下一轮推理。单张 RTX 5090 显卡上，三段推理总耗时约 0.12 秒。作为参照，π0.5 单段 10 步推理延迟为 0.075 秒，提升至 30 步时延迟 0.115 秒。延迟水平与 HAF-VLA 相近，但分数从 70.0 跌落至 30.0。

团队在附录中说明：该对照仅对齐去噪更新次数，并未对齐计算开销。分层方案额外增加缓存计算，各阶段注意力上下文长度也有区别。单纯增加去噪步数无法换回性能，动作时序分配，比去噪总步数更为关键。

基线模型与 HAF-VLA 使用完全相同的遥操作数据集、人形动作接口和部署封装，预测得到的动作块都会映射至统一的底盘、腰、头、手臂与手部接口，保证对照变量只聚焦策略本身。

四条基线均按照公开参数调至最优：ACT 采用 200 步动作视野、60 步时间聚合窗口，训练 3.7 万步，使用 8 张 A100，单卡批大小 64；GR00T N1.7 动作块长度 50，训练 2 万步，全局批大小 160；Cosmos Policy 动作块长度 40，训练 1.5 万步，全局批大小 160；π0.5 执行全模型微调，训练 5 万步，8 张 A100，单卡批大小 8。

分层策略带来性能提升

真机实验在天工 3.0 与天工 2.0 两台全尺寸人形机器人上开展，仅依靠机载第一视角相机，不使用外部动捕设备或额外摄像头。

六项核心基准任务覆盖家务与工业场景：装洗衣、取衣服、收拾桌面、浇花、投球与搬箱子；另有搬箱到桌（Box Carry）任务，专门用于消融对照。所有任务都要求机器人先行移动、调整姿态再执行操作，单次 rollout 时长从数秒至十几秒，重点考验长时序全身移动操作能力。

这类任务对全身协同能力提出很高要求。

• 装洗衣需要从床上抓取形态每次都不相同的衣物，走到洗衣机旁对准舱口放入，再合上舱盖；
• 取衣服要抬臂至晾衣杆高度取下衣物，移步到衣柜挂放并关门，站位过远手臂无法触及，站位过近身体则会碰撞杆体；
• 浇花任务中，机器人先要托举花盆为高处植株浇水，再通过下蹲或弯腰降低身体，浇灌低处盆栽，仅依靠手臂伸展无法完成。

投球与搬箱子考验动作收尾的精准度。

• 投球需要移动到位后对准箱口释放球体；
• 搬箱子则要求机器人在行走、转身过程中维持箱体姿态，抵达桌边再对位放下。

每项任务配套一句任务指令，与第一视角画面、机器人状态一同输入策略模型。例如装洗衣任务指令为「把床上的衣服拿起来，走到洗衣机旁，把衣服放进洗衣机」。指令仅描述最终目标，行进路线、转身动作交由策略自主决策。

评测采用里程碑式打分机制。每项任务拆分为多个阶段，满分 15 分，根据完成进度计分，再归一为百分制。

以装洗衣为例，放入一件衣物得 5 分，放入两件得 10 分，合上盖子再加 5 分；投球抓取成功得 5 分，球体触碰箱壁得 5 分，入箱得 10 分。即便中途失败，依然可以获得阶段性分数，保证不同长任务之间具备可比性。每种方案、每组配置都在真机上运行 10 次 rollout，初始配置尽量对齐数据采集分布；一旦触发不安全动作，实验立即终止并标记为 Unsafe。

六项任务平均归一化得分达到 68.3，基线 π0.5 为 53.3，高出 15.0 个百分点；GR00T N1.7 为 37.8，ACT 25.6，Cosmos Policy 25.0。

HAF-VLA 在六项任务中全部取得最优或并列最优成绩。差距最突出的三项为搬箱子 93.3 对比 60.0、投球 56.7 对比 33.3、装洗衣 66.7 对比 53.3。两组基线的失败模式存在明显区别：π0.5 与 GR00T N1.7 更容易出现底盘偏移，依靠手臂强行补偿，动作持续恶化；Cosmos Policy 在这套部署环境下推理延迟显著更高。分数差距在「长距离移动 + 精准对位」任务中被进一步拉大，而这正是该框架单独规划底盘与腰部姿态的核心优势场景。

分项来看，性能提升并不均匀。

收拾桌面 80.0 对比 70.0、浇花 60.0 对比 50.0，各提升 10 分，这类任务行走稳定，但空间跨度有限；

取衣服 53.3 对比 53.3，双方持平。该任务重点为抬臂与站位调整，底盘规划带来的增益有限。

拉开差距的三项都需要长距离移动：搬箱子、投球、装洗衣，都要先移动抵达目标位置，再完成精细对位。Cosmos Policy 在搬箱子单项拿到 73.3，是四条基线内最高，但其余五项得分仅在 0 至 30 区间，说明世界模型路线在这套动作接口上稳定性不足。

完整任务完成成功率更贴近工程落地的评估口径。

• 搬箱子 80% 对比 π0.5 的 30%；
• 收拾桌面 60% 对比 40%；
• 浇花 50% 对比 40%；
• 取衣服 40% 对比 30%；
• 投球 40% 对比 20%；
• 装洗衣 30% 对比 20%。

论文附带 95% Wilson 置信区间；受限于仅 10 次 rollout，区间范围较宽。作者也注明，该结果仅作不确定性参考，不足以支撑显著性检验，数据用于判断性能趋势。

汇总基线完整成功率，差异直观。

π0.5 在六项任务的成功率落在 20%～40%；GR00T N1.7 处于 10%～20%；Cosmos Policy 除搬箱子 30% 以外，其余基本为 0～20%；ACT 仅搬箱子 30%、收拾桌面与投球各 10%，剩下三项全部为 0。HAF-VLA 六项成功率依次为 80%、60%、50%、40%、40%、30%，全部高于基线区间上限。

消融实验统一在搬箱到桌任务开展，使用同一组 120 条演示数据与相同部署封装。

动作阶段顺序对性能影响最大：腿 — 腰 — 手臂的原生顺序得分 86.7；腰部前置降至 70.0；手臂前置降至 60.0。

团队排除了监督频次带来的干扰：按照各维度被激活的段数做反频加权，腿部与头部权重 1/3、腰部 1/2、手臂 1，得分仅 76.7。证明性能收益来自阶段时序本身。全关节同步去噪的 All-Joint 设置得分 73.3，说明有效增益来自分段激活，而非重复多次全身去噪。

去噪预算对照更能说明核心结论。π0.5 单段 10 步去噪得分 70.0，提升至 30 步后反而跌至 30.0，延迟由 0.075 秒增至 0.115 秒。

HAF-VLA 三段各 10 步，总去噪步数相同，延迟 0.123 秒，得分 86.7。跨阶段缓存同样关键：训练与推理同时移除缓存，分数下降至 50.0；仅推理阶段移除缓存或清空缓存，会直接触发不安全动作。训练、推理的条件结构必须保持一致。清空缓存相当于切断前置规划信息，后段只能自主推测前置动作，极易出现轨迹偏移。

细化策略同样存在取舍：冻结前段动作不许修改得分为 66.7；三段输出直接拼接仅 46.7，二者均弱于允许后段小幅修正的软细化方案。论文还绘制了搬箱过程三段前向速度预测曲线，整体轨迹基本重合，差异集中在局部微调。

泛化测试设置五种环境扰动。

装洗衣场景中，路径上新增一把从未见过的办公椅，得分从 66.7 降至 40.0，跌幅与 π0.5 接近；取衣服任务将机器人起点后移 20 厘米，HAF-VLA 保留 43.3，下降 10.0，π0.5 下降 16.7。搬箱到桌测试包含调暗灯光、箱子尺寸由 40×25 厘米更换为 33×20 厘米、目标桌平移 30 厘米三组扰动，得分分别为 83.3 对比 60.0、76.7 对比 50.0、73.3 对比 40.0；对应跌幅 3.3 对比 10.0、10.0 对比 20.0、13.3 对比 30.0。模型在空间几何扰动下优势明显，面对外观视觉变化，两套方案都存在短板。

办公椅障碍物测试中两者跌幅相近，说明未知静态障碍物对两种策略都是难点。

分段生成优化的是底盘与身体姿态的可控性，并不提升环境感知与避障能力。这套方案复用 π0.5 原有权重，改动的是动作生成时序：依照运动学链条分步规划全身动作，先锁定底盘与姿态。对于人形机器人这种高维动作空间，动作规划的先后顺序，本身就是一种可迁移的先验知识。