对话上海交大杨理欣：为什么机器人需要一条「三维时间轴」
机器人会倒水，却可能在放下瓶子后忘了刚才倒过哪一瓶。会执行动作，不等于知道任务该如何推进；机器人还需要把任务意图、行动历史与世界变化连成一条三维时间线。
这类失败不完全是抓取精度问题。今天的视觉—语言—动作模型（Vision-Language-Action，VLA）已经能把图像和语言映射成一段动作，但训练通常重点回答「专家是怎么动的」。任务意图怎样落到三维空间、操作进行到了哪一步、动作又会怎样改变物体与环境，往往被压在动作标签里，让模型自己摸索。
上海交通大学人工智能学院助理研究员杨理欣把这个缺口概括得很直接：机器人如果判断不了自己已经做到哪一步，下一步就可能选错。过去一年多，他担任通信作者的 LaMP、ChronoFlow-Policy 和 Track4Action 相继公开，其中前两项工作已经被 ECCV 2026 录用。三项工作都在尝试把三维点随时间的运动引入机器人策略，却选择了不同位置：LaMP 把任务意图变成未来运动先验；ChronoFlow 把过去、当前和未来放进同一种交互轨迹；Track4Action 则让看过完整动作结果的三维追踪器，在训练时教会只看当前观测的 VLA。
近期，42 号电波与杨理欣进行了一场深入对话，他向我们完整梳理了这条围绕三维点流展开的研究路线：机器人如何理解任务、理解时间，并理解动作发生后世界的变化。
实验也显示，这层监督不只是架构装饰。在 LIBERO-Plus 的七类零样本扰动中，LaMP 加入运动专家后，平均成功率由 71.6% 升至 79.3%；ChronoFlow 的完整模型在两个「交换物体」任务最终阶段分别达到 93% 和 61%，移除历史流后降至 20% 和 11%；Track4Action 在四项真机双臂任务上的平均整项成功率为 67.5%，比同一基座的无追踪对齐消融版本高 25 个百分点。
动作指令给了机器人手和脚，三项工作补上的则是空间感和时间感：目标落在哪里、任务走到哪一步、一次动作留下了什么结果，都成为下一步决策的依据。
三篇论文并非串行发布，点流才是共同线索
按论文出现的时间，很容易把三项工作写成 LaMP 解决一个问题、ChronoFlow 发现下一个问题、Track4Action 再完成升级。杨理欣在采访中纠正了这种理解：三项研究大体从 2024 年中形成思路、在 2025 年前后并行推进，只是项目节奏不同，才先后进入公众视野。
真正连续的是「表示」问题。
杨理欣早期研究人手与物体交互，希望找到一种能跨越人和不同机器人本体的中间语言。团队曾在 Motion Before Action 中使用物体的六自由度位姿：无论人手还是机械臂倒水，瓶子都要经历某种空间变换。但位姿依赖可靠的姿态追踪器，也更适合刚体；面对抽屉这类关节物体、多物体交互，或毛巾、衣服等柔性物体，一个刚体姿态很快就不够用了。
点流提供了另一种描述方式：它记录一组空间点在连续时间里的运动轨迹，可由深度、几何估计或三维追踪获得。所有点一起移动，可以描述刚体；不同部分按约束运动，可以描述关节物体；点各自发生形变，又能覆盖柔性物体。在杨理欣看来，由于这种表示不直接等同于某款机械臂的关节命令，它有潜力成为人类视频、不同机器人和动作策略之间的接口。
三篇论文使用的并不是完全相同的数据结构。LaMP 使用稠密三维场景流的隐状态，ChronoFlow 追踪物体与夹爪的稀疏三维关键点，Track4Action 蒸馏的则是世界坐标系三维追踪器的汇聚特征。它们共享的是同一个大的问题：与其只让机器人记住「手臂怎么动」，不如同时让它学习「任务相关的三维世界怎样随动作和时间变化」。
LaMP：把「要做什么」落成「什么应该怎样移动」
LaMP 的起点是 VLA 中的一道断层。预训练视觉语言模型擅长识别物体、理解「把面包放到盘子里，再把煎蛋放在上面」这样的指令；动作头则负责输出机械臂命令。中间缺少一层明确的几何表征：为完成这条指令，机器人、面包、盘子和锅接下来应当在三维空间里怎样运动。
杨理欣在采访中用「逆运动学」解释了这道桥梁：在 VLA 里插入点流模块，「让这个点流模块去预测未来」；后面的 Action Expert，则相当于点流的「逆运动学模块」。机器人先把语言里的目标翻译成场景应该发生的三维变化，再把这种变化翻译成机械臂动作。
落到模型结构上，LaMP 在视觉语言主干与动作头之间加入一个 Motion Expert。当前观测和任务指令先进入视觉语言主干，运动专家再生成一次部分去噪后的三维场景流表示。系统并不等待它完整重建未来轨迹，而是取中间隐藏状态，通过门控交叉注意力送给 Action Expert，再由后者生成动作块。
因此，「LaMP 让机器人理解任务」需要一个限定。它没有专门评测自然语言理解，也没有证明模型获得了通用因果推理能力。论文真正验证的是：当任务语义被进一步约束成三维运动表示，动作策略在空间变化和长程任务上更稳。
在 LIBERO-Plus 中，所有模型只使用原始 LIBERO 演示训练，再直接面对相机、机器人外观、语言、光照、背景、图像噪声和布局七类扰动。LaMP 平均成功率为 79.3%，比同表中 OpenVLA-OFT 的 69.6% 高 9.7 个百分点，也比自身移除运动专家后的 71.6% 高 7.7 个百分点。它在其中四类扰动上得分最高，并非七项全部第一。常规 LIBERO 的平均成功率达到 98.3%，但只比同表 GeoVLA 的 97.7% 高 0.6 个百分点；更能体现方法差异的是 LIBERO-Long，去掉运动专家后从 96.7% 降到 78.2%。
团队还专门把预测出的点流拿出来看。杨理欣回忆，他们最担心的是「点流预测出来的结果其实是乱的，但是 Action 有提升」，那样就无法解释增益究竟来自哪里。可视化呈现的结果是：「点流指示的是那样一个运动方向，Action 就会跟那个方向对齐。」换句话说，分数提高的同时，这层三维运动先验也确实指向了机器人随后采取的动作。
真机结果的口径更需要克制。团队在单台 Flexiv 机械臂上测试抓放、折毛巾和制作面包三项任务，主指标是分阶段累计的「任务完成进度」，不是二元成功率。LaMP 在三项分布内任务上分别得到 80%、50% 和 80% 的平均进度，在布局、物体和背景三类分布外测试中的汇总平均任务进度为 62.5%；每项分布内测试只有 10 次，每种分布外条件下每项任务测试 5 次。这些结果说明三维运动先验能在小规模真机实验中带来收益，但还不能外推到开放场景可靠性。
LaMP 的工程优势，在于机器人不必先完整生成一段未来轨迹，再决定下一步怎么做。运动专家只进行一次部分去噪，就把三维运动特征直接交给动作专家；在 RTX 4090 上，完整系统单次策略查询耗时 177.1 毫秒，并能一次输出 16 步动作。按动作块摊算，其动作生成速率约为 90Hz。通过这条更短的路径，LaMP 把三维几何前瞻直接嵌入了 VLA 的动作决策。
ChronoFlow：机器人还要知道「现在走到哪一步」
LaMP 主要把任务指令接到未来运动，ChronoFlow 处理的则是当前一帧无法消除的时间歧义。
「既然点流能够作为一个表征未来的接口，那它是不是也可以作为一个表征过去的接口？」杨理欣说。ChronoFlow 就从这个反问出发，把点流从一张「未来路线图」变成一份「行动履历」：它不仅预告下一步怎样移动，也保留机器人刚刚怎样与物体互动。
交换两个物体时，某个中间画面可能既对应「把第一个物体临时放下」，也对应「把第二个物体放回目标位置」；逐个检查抽屉时，关上一个空抽屉后，眼前状态也不能告诉机器人刚刚查过哪一格。这类任务具有非马尔可夫性：正确动作不仅取决于当前观测，还取决于过去发生的交互。
ChronoFlow 用物体与夹爪的稀疏三维关键点，把过去轨迹、当前状态和预测的未来轨迹放进同一个坐标系。策略接收当前 RGB-D 点云和历史 ChronoFlow，扩散模型从噪声中恢复未来交互轨迹，同时解码动作。它关注的是夹爪与任务物体怎样一起移动，而不是把整张场景的每个背景点都纳入表示；对于折毛巾，这也避开了用单一物体姿态描述柔性形变的困难。
最有说服力的结果来自同架构历史消融。真机 Swap-Easy 中，完整模型和去掉历史的版本在第一阶段都达到 93%，说明两者都能启动任务；到了第三阶段，完整模型仍为 93%，无历史版本只剩 20%，相差 73 个百分点。
更难的 Swap-Hard 中，第一阶段两者同为 94%，最终阶段则是 61% 对 11%，相差 50 个百分点。每项任务评测 15 次，Swap-Hard 为 18 次，论文没有提供置信区间。与已经使用历史观测的 HistRISE 相比，优势明显缩小：Swap-Easy 最终阶段是 93% 对 80%，Swap-Hard 是 61% 对 56%。两组结果呈现出同一个优势：在起始阶段成功率相同的情况下，历史点流把此前发生过的交互重新带回决策，让策略能够在画面相似、任务阶段容易混淆的后半程继续选对下一步。
ChronoFlow 选择先在单任务视觉运动策略中，把「时间记忆是否真的有用」验证清楚。杨理欣将这条路线概括为：「先把 Policy 研究透，然后把 Policy 的一些结论用到这种大模型 Scaling Up 上去。」因此，这一版先聚焦不含语言输入的单任务视觉运动策略，收敛的问题设定也让历史点流的作用更清楚地显现出来。
这份「行动履历」也进入了真机执行链路。部署时，TAPIP3D 异步提取历史物体点轨迹，夹爪轨迹则由机器人运动学直接计算；异步方案把同步管线的平均运行频率从 0.93Hz 提高到 5.82Hz，约为原来的 6.3 倍。ChronoFlow 由此给出了一套清晰、可运行的时间接口：围绕任务相关物体与夹爪组织稀疏三维轨迹，把过去、当前和未来放进同一种表示，让机器人的下一步能够接续前一步。
当点流既能成为「未来路线图」，也能成为「行动履历」，问题便可以继续向前推进：这些三维经验能否在训练阶段被模型吸收，让部署端只带走行动所需的表征？Track4Action 选择了这条路径。
Track4Action：让「看过结果的老师」在训练后离场
一条机器人演示包含两份信息。动作序列告诉模型专家发出了什么命令；与动作严格对齐的视频，则记录这些命令实际造成了什么：哪些点移动、物体是否被带起、遮挡怎样变化、相机是否转动。常规 VLA 主要使用前者，Track4Action 试图把后者也变成监督。
团队面前有一个关键选择：既然强大的追踪器已经看完动作前后的变化，究竟该让 VLA 模仿它输出的轨迹，还是学习它形成轨迹前的内部表征？杨理欣把问题说得很具体：「如果这个 Tracker 很强的话，我们到底是用它的结果更好，还是用它的中间表征更好？」
显式轨迹已经把变化压缩为每个点的一段位移，而追踪器的中间表征还可能保留场景、运动、遮挡和相机变化之间更丰富的联系。Track4Action 选择了后者。
训练时，冻结的 Track4World 读取与 K 条动作对应的 K+1 帧画面，从已经发生的演示中提取世界坐标系下的场景、运动、可见性和相机特征，再汇聚成一个教师表示。
VLA 学生只能看到当前画面、任务指令和可选机器人状态；一组可学习的 track queries 要从这些当前信息中逼近教师表示，并通过门控进入动作头。杨理欣把这种师生关系概括为：「让一个看不到未来的 VLA，去对齐一个看到未来的点流追踪模型的中间表征。」这里的「看到未来」，发生在训练时已经完整记录下来的演示中；到部署阶段，K+1 帧动作对齐片段、Track4World、教师特征和对齐分支均不再需要，VLA 主干、track queries 与门控融合仍被保留。
四项真机双臂任务给出了最直接的受控证据。Track4Action 的平均整项成功率为 67.5%，同一基座的无追踪对齐消融版本为 42.5%，提高 25 个百分点。在辣椒任务换布局、毛巾换颜色和卷心菜任务换桌面背景这三个真机任务—扰动组合中，完整模型的平均成功率也从无对齐版本的 23.3%升至 50.0%，提高 26.7 个百分点。
在这三种预设的真机视觉扰动中，追踪对齐路径相对无对齐版本依然带来成功率增益，让这套训练信号的效果从原始场景延伸到了受测扰动条件。
仿真结果延续了这一趋势。Track4Action 在 LIBERO-Plus 达到 82.3%，比无对齐版本高 7.6 个百分点，比 LaMP 高 3.0 个百分点；相对无对齐版本，它在七类扰动上全部取得提升。在 RoboTwin 2.0 的 50 项双臂任务中，完整模型在干净和随机化设置下达到 80.44%和 81.48%，分别比无对齐版本高 39.12 和 41.58 个百分点。
在单臂与双臂、仿真与真机的多组实验设置中，同架构对照都呈现增益，说明这套追踪蒸馏路径在这些设置下都能把动作结果信息转化为控制收益。
Track4Action 的工程价值，也因此落在一条很具体的路径上：用复杂的三维追踪器重新提炼连续演示，把原本没有被动作标签充分利用的世界变化压进 VLA 的动作表征。对现有数据而言，这相当于从同一段演示中获得一层更密集的三维监督；对部署而言，训练得到的 track queries 与门控融合直接参与动作决策。
把三篇论文放到一起可以看到它们是沿着同一条点流主线，分别从任务意图、行动历史和动作结果入手，为机器人策略补入几何前瞻、时间记忆与世界变化监督。
一个显式提供几何前瞻，一个在线保存行动历史，一个在训练期吸收追踪器经验。三者共同把点流从可视化运动轨迹推向机器人策略的接口层，也对应三种工程选择：表征要多明确、监督怎样规模化、多少计算留在部署端。
穹彻的作用：让点流经受公司级数据与真机任务的检验
穹彻在这条研究链路中，站在把学术想法放大到工程尺度的一端。杨理欣说，论文可以先在固定数据集和 benchmark 上判断一种方法是否有效；到了产业端，具体任务甚至「可以要求你没那么智能，但是你的成功率要非常高」。公司级数据、真机平台与业务任务会继续追问：数据规模扩大后增益能否保留，换到真实场景后机器人能否稳定完成任务。
联合实验室为这种「放大」和「验真」提供了组织基础。据杨理欣介绍，上海交通大学人工智能学院与上海创智学院负责学生培养和研究，穹彻智能则向联合培养团队开放数据、机器人平台、算力与工程资源。学生开展遥操作和真机后训练时，可以借助这些条件完成实验。
数据链路是其中最具体的一环。穹彻在 Noe-0 研究预览中披露，RoboPocket 与 DM3 已把三视角采集、任务管理、质量检查、人工与标注审核，一直连接到训练数据交付；公司称平台累计数据时长约 9.74 万小时，覆盖 47 个城市。对点流路线而言，这套基础设施的意义在于，连续演示既要「采到」，也要让动作、画面和世界变化保持对齐，从而为三维轨迹提取、数据筛选和训练监督提供可扩展的入口。
模型端也出现了可以对接的位置。Noe-0 采用世界—动作联合建模，让隐式世界想象与动作规划共享表示；三篇论文则分别从未来运动、行动历史和动作结果切入，提供了更具体的点流训练路径。公开信息尚未显示 Noe-0 已经采用这些论文模块，但两条路线关注的是同一个问题：怎样让动作与它引起的世界变化进入同一套训练过程。
视觉几何之外，穹彻「以力为中心」的研究路线指向接触反馈这一层。杨理欣表示，团队也在探索把力加入世界模型；他更倾向于让力觉与触觉进入后训练、微调或高频反应层，用于处理接触发生后的即时调整。点流与力触觉的结合仍是下一步技术方向，也为三维运动研究与穹彻既有积累的衔接提供了明确位置。
杨理欣在采访中称，目前这三项研究正在转化为量产项目，团队希望把点流经验加入穹彻的预训练、中期训练或后训练，提升策略在不同场景中的成功率。具体方案仍在探索，尚无公开的成效数字；穹彻对外披露的联合实验室规划，则已经把真实数据采集和模型泛化列为协同攻关方向。数据、算力、机器人平台与工程反馈汇集到同一个合作框架中，为点流从论文实验走向更大规模验证提供了条件。
当训练数据开始记录「动作之后」
这条研究路线首先改变了演示数据的含义。一段视频不再只是图像与动作标签的配对，它还保存了动作前后的三维状态转移。只要追踪模型能从已有的连续演示中提取物体、夹爪、遮挡和相机运动，旧数据就可能被重新加工成更密集的监督，而不必逐帧人工标注点轨迹。Track4Action 进一步显示，复杂的教师模型可以只在训练期出现，把提炼出的经验交给部署端的 VLA。
它也把「有效信息密度」带进了数据规模竞争。杨理欣观察到，大规模人类第一视角数据常只有整段任务的粗标签，许多相似动作块共享一句指令；采集员转头、手落到鱼眼边缘、动作难以映射到机器人，或者工厂里大量重复但信息量有限的数据，都可能在总时长增长时被掩盖。在他看来，有些数据并非质量差，却未必适合机器人训练。点流和世界变化标签的一项潜在价值，是把「哪些变化与机器人任务有关」变成可学习、未来也可能用于数据筛选的信号。
对未来 VLA 的形态，杨理欣更倾向于混合架构：视觉语言模型负责长程任务拆解与推演，世界—动作模型负责较短时域的连续操作，力觉、触觉等高频信号再进入类似 System 0 的快速反应层。三项研究分别展示了点流在这类分层系统中的三种用法：把任务语义接到三维运动、用行动历史辅助当前决策，以及从完整演示中提取动作结果信息。
沿着这套分层思路，下一阶段的压力测试会落到第一视角人类数据、灵巧手、高接触任务和自主纠错上。杨理欣希望继续研究第一视角数据、灵巧手与点流；这些方向需要模型同时处理更长的任务历史、更细的三维形变和更高频的接触反馈，也会更充分地检验点流作为中间接口的价值。
写在最后
回到开头那个会忘记自己刚倒过哪只瓶子的机器人，三项工作分别从三个位置给出回答：LaMP 把任务意图投射到未来三维运动，ChronoFlow 用历史轨迹标记任务进度，Track4Action 则从完整演示中提取动作造成的世界变化。三篇论文各自的受控消融显示，在所覆盖的任务中，加入这些三维时序信号，都优于不含相应路径的匹配版本。
对穹彻而言，联合实验室提供的是继续检验这类监督能否适应更大数据、更多平台与复杂真机任务的工程环境。下一轮 VLA 竞争，可能不只取决于模型看过多少数据，也取决于它能否读懂每一次动作在世界里留下了什么。