对话小米机器人团队：掌握触觉节奏，PACE 如何让机器人「精益求精」

2026 应是机器人「落地元年」。

近一年来，具身智能的产业叙事几乎被「更大的模型、更多的数据」萦绕，万亿参数、千亿估值、万小时训练时长不绝于耳。与此同时，研究人员、投资人、社会公众，越来越多的目光聚焦在机器人的落地问题。通用机器人技术进入千家万户的最后几公里差在了哪？

很早便有人提出，机器人精巧操作的复杂度可能要超过整个本体的研发。基座模型侧的能力再强大，最后仍要靠「手」的动作向真实世界延伸。目前为止，基座模型仍然依靠策略来感知力、触觉等真实世界的物理量，触觉感知技术始终未曾脱离机器人学界的核心焦点。

在 11 月 9 日至 12 日举行于美国得克萨斯州奥斯汀的 CoRL 2026 机器人学习大会上，机器触觉是大会的重要议题之一。大会前夕，小米机器人事业部触觉研究论文《PACE: Temporal-Role Tactile Conditioning for Chunk-Based Insertion Policies》被 CoRL 2026 录用并入选口头报告（Oral），约占全部有效投稿的前 1%。这让小米机器人在科技最前沿显露身影。

论文链接：https://arxiv.org/abs/2610.16308

项目主页：https://pace-insertion.github.io

该研究提出了一种面向基于动作分块的插入策略的时序角色触觉条件化框架 PACE（Phase-Aware Contact-Event Conditioning，相位感知的接触事件条件化）。PACE 的核心创新，并不是让机器人获得更多触觉信息，而是重新思考如何使用触觉。研究团队发现，触觉既能反映持续的接触状态，也能捕捉瞬间的接触变化，还能通过预测触觉帮助模型训练。PACE 让这些信息在动作生成、执行纠偏和模型训练中发挥不同作用，从而支撑人形仿生机器人更完整地组织触觉反馈。

今年以来，小米机器人已密集开展了从技术到商业的多项「首秀」。7 月，小米机器人发布的 Xiaomi-Robotics-U0 具身生成模型与 Xiaomi-Robotics-1 具身基座模型 分别在 WorldArena、RoboCasa 365、RoboDojo-Sim 榜单表现领先，这已标志着小米机器人在 VLA 路线上取得不小成就。就在不久前举行的世界互联网大会上，小米还凭借具身基座模型关键技术获得「领先科技奖」。

公开演示中，小米人形机器人在工厂的产线级作业能力、具身基座模型在家庭场景的复杂作业能力，亦得到初步验证。一系列的关键突破更引人遐想：小米机器人的技术前沿目前正发生着哪些变化？他们对通用机器人的触觉感知有着怎样的考虑？在深耕一线的人才眼中，未来科技还将向何处去？

为此，42 号电波专访小米机器人事业部仿生操控负责人游洋威，小米机器人事业部工程师、PACE 论文第一作者陈志远，探寻小米机器人在触觉感知技术的前沿进展。

基于时序通道的触觉组织

触觉技术在过往遇到过不少阻碍。在过往常用的方法中，触觉感知通常依赖阻抗与柔顺控制、力/位混合控制或操作空间力控制。尽管这些方法在指定情形下可以非常有效，但真实世界的物体形状多样，这些方法普遍难以泛化到的真实插入场景。

以 USB 接口为例，假设机器人需要将 U 盘插入电脑，首要任务就是从视觉上判断插头与插孔是否对齐。实际接触时，插头可能顺利插入，也可能出现插头顶住插孔边缘的情况。两种情况在画面上十分相似，接触状态却截然不同。物体与手一旦发生接触，机器部位往往会遮挡最具信息量的区域。当细小的错位、边缘碰撞与局部接触变化难以通过眼睛推断的时候，就需要依靠丰富的触觉感知来判断动作是否到位。

这也成为陈志远等人的研究契机。团队透露，小米机器人的大量前沿研究均从真实的落地需求出发，去寻找背后共性的科学技术难题。无论是在工业制造还是家庭服务场景中，都存在大量插装、装配这类接触丰富的操作任务，这些任务都存在上述的共同难点：视觉能帮机器人找到目标，但接触一旦发生，仅凭视觉难以判断精细操作是否成功。「我们希望探索如何让机器人真正理解操作过程中的物理接触，并利用这些信息指导动作决策。」

游洋威表示，小米机器人在今年进工厂的过程中发现大量需要精密操作的场景尚未解决。今年 3 月，团队曾在一项叫「自攻螺母上件工站」的螺柱安装任务中发现视觉盲区的问题，由于自攻螺母内侧存在花键结构，要把它对进去需要精细调整，团队在灵巧手上加装了触觉，取得了较好效果。当时为了保证成功率，机器人手腕上还加了一个名为「腕上眼」的腕部相机。但这还不够。长期看，他们希望逐步把「腕上眼」替换掉，让触觉在这类工作中起更主导的作用。

可见，特别在工业场景中的精细操作，实现清晰的物理交互反馈对机器的要求极高。机器人不仅需要准确感知物体的位置，还需要根据接触状态的变化及时调整动作。近年来，端到端模仿学习中的动作分块策略为机器人操作提供了更加灵活的解决方案，通过一次预测一段连续动作，提升了操作的连贯性与效率。然而，当执行过程中发生碰撞、卡滞等突发接触变化时，预先生成的动作可能不再适用，机器人难以及时作出有效调整。

人类在日常交互或工作时，并不会以单一的模态或方式来理解接触。比如，突发的接触瞬变会触发即时的纠正性反射，而对接触后果的预期则支持高效的运动规划。虽然诸如 RTC、REMAC 等工作强化了动作块之间的连续和平滑，或高速刷新动作块（DCDP），或进行触觉动作解码（RDP），但小米机器人团队还有一些新的思考：接触丰富插入中的触觉反馈不仅仅是一种额外的感知模态，它还承载着不同时序角色，关键在于如何更好地将触觉、视觉和模型组织起来。

实际上，动作块（Action Chunk）的平滑、连续与显式推理在机器人的触觉操作中非常重要。团队提出的 PACE（Phase-Aware Contact-Event Conditioning）是一种新的触觉条件化框架，能够把同一条触觉流组织为三种可学习的时序通道，每条专门对应接触反馈的一种时序角色。接触状态（Phase）条件化引导动作块生成，接触事件（Event）修正对已生成的动作块进行调整，接触后果预测（Prediction）则在训练期间塑造动作表示，不再通过单通路的触觉融合让策略隐式地学习接触状态、事件与后果。

怎么来理解时序通道变化的模式，以及与力触之间的交互？

图中描述的正是 PACE 主导下的完整接触作业。在夹爪或灵巧手接触物体前， Phase 会基于此前训练得出的触觉平均值开始运转，当手尚未接触物体时，事件和力都保持稳定的区间。当手与物体接触而力触过大时，Event 接手进行修正，通过影响动作块最前面的几步让机器人的力道往回收。随后，Phase 同时换档，当第二次碰撞再次发生，Event 再次接手修正，直到最终接触物体后，Phase 在几个力触档位之间反复调整，执行插入作业。在稳定的接触阻抗中逐渐将力提升，直至最终完成任务。

谈到 PACE 研发期间遭遇的困难，陈志远认为最大的挑战在于如何设计一种既能发挥触觉价值、又具备较好通用性的策略架构。过程中，团队也曾探索过特征融合、注意力机制、调制等不同方式，后来逐渐意识到，触觉不一定要完整地融入视觉特征，也可以通过独立通道参与动作修正。「我们发现，不同机器人获取接触信息的方式并不统一：有的配备了触觉传感器，有的只有末端六维力，甚至只能通过关节电流去感知接触。」虽然传感器不同、获取的信息不同，但它反映的物理交互过程存在一定的共性，比如持续的接触状态、接触事件，不同的传感器都能反映带有这种共性的物理交互。这样做的好处，是可以设计出更通用的架构。不需要大改原有的纯视觉策略，只需要把触觉按照三个通路加到原策略中，就能实现这样的效果。

毫米级精细操作

团队采用 ManipulationNet 仿真与真机两种测评套件进行测试。其中，ManipulationNet 提供 NIST ATB 轴孔插入基准，包含 3 毫米、1 毫米与 0.1 毫米间隙的工业级插销任务；而真机套件包含钥匙、两脚插头、三脚插头、USB 与以太网插入等高度考验精巧操作的真机任务。

值得注意的是，为了更好地衡量真实世界的反馈效果，真机套件的五项任务更加检验不同的接触歧义。例如，钥匙与 USB 需要精确的朝向，对边缘碰撞敏感，检验突变接触之后的事件驱动修正；两脚插头在接近过程中把关键几何隐藏在腕部视角之外，迫使策略基于物理反馈进行接触后搜索；接头包含弹性卡扣并需要持续的插入力，让力的增大既可能表示正常进程，也可能表示有害的卡滞。两种测试能够综合检验 PACE 是否可以同时处理缓慢的接触相位变化与突发的局部事件，以评估 PACE 在工业级真机操作上的实际效果。

测试显示，相对纯视觉策略与生成时触觉融合基线，PACE 表现出绝对性的领先优势，平均成功率达到 90.7%。ACT、DP 等在钥匙、插头、卡扣等任务的表现上说明，纯视觉策略仍难以解决接触之后的歧义，相比之下，生成时触觉融合有着更优表现，但在触觉反馈上被 PACE 拉开了差距。这也表明，当触觉反馈被当作单通路输入时，更复杂的生成时融合机制未必能提升性能。

更惊叹的部分则发生在毫米级的精细操作。PACE 在最细微的 0.1 mm 间隙下于 ManipulationNet 上同样保持稳健。要知道，一根头发丝的直径才大约 0.05 到 0.1 mm，在这样微小的目标物体和手之间存在着巨大的视觉遮挡，即便人类操作亦需要通过视觉与触觉反复协调、对齐，任何一点姿态偏差都会被放大成硬碰硬的接触，导致失败或者零件损坏。这种操作的精细度不免使人联想到《星际穿越》中永恒号对接的经典一幕。

这种实验充分表明了 PACE 在视觉遮挡下的有效性。那么，为什么它对商业化落地有着重要的参考意义？实际上，像汽车工厂总装是典型的高柔性、多样性人工作业场景，工序耦合度高、操作自由度大、非结构化干扰多，换一个流水线或者零件场景，工作要求就会产生大幅变化，对机器而言，必须要实现更低容错、更好的精准度。PACE 的出现，确实让人看到小米机器人有望率先在工业场景落地取得突破性进展的可能。

PACE 为何会有这么好的表现？是时序通道的哪些部分起了关键作用？

消融实验显示，PACE 中最有效的部分集中在负责接触事件修正的 Event 上，若将其去除，平均成功率会骤降至 66.7%。当更短的动作块削弱时序连贯性与持续力行为时，Event 能够保持动作块的长块结构并加入有针对性的局部修正。若去除 Phase 或 Prediction，也会给整个工作带来中等程度的降幅。这些降幅说明，在分割出的时序通道中，预测性训练监督提升了表示质量，但在推理时并不是关键，仅靠接触状态条件化来推理更不理想。三者必须相互配合、彼此补全，形成完整覆盖状态变化的感知通道，才能够发挥触觉感知的最佳效果。

提到成因，陈志远认为，Phase 所代表的阶段感知本质上是在辅助调制触觉编码，即帮助视觉判断当前的操作进行至哪个阶段，进而完成初始的动作生成，因而带来的提升相对较小。团队增加一个预测头的主要考虑是希望能够以此让机器人懂得预测未来的触觉，从而加强训练效果，起到辅助性的作用。而最为关键的 Event 通过独立通道发挥作用，其学习的是一种残差，「在融合调制视觉之后的基础动作之上，形成的残差动作修正量最大」，因此效果最好。

此外，PACE 在跨信号源与跨架构的通用性上也得到了很好的保证。这意味着 PACE 十分泛用，它可以在任何一个使用接触敏感反馈信号的机器人平台上得到应用，而且所设计的三重时序通道在其他策略骨干上依然有效。

重建触碰的原初形式

陈志远表示，PACE 最大的核心优势在于思考了触觉应该以什么样的方式参与、指导机器人的动作决策。「过去不少方法主要关注如何把触觉与视觉、语言等特征进行融合，但我们发现，触觉本身就具有不同的时序特征：它既能反映持续的接触状态，也能捕捉瞬时的接触变化。」

因此在团队看来，力触不只是视觉的补充，而应根据其不同作用、以不同方式参与动作生成与控制。例如，触觉能够反映操作阶段，从未接触到开始接触，再到持续插入，接触状态会随着任务进展发生变化，本就可以用触觉辅助判断当前处于哪个操作阶段，又因为触觉对视觉难以体现的力变化非常敏感，这类信息又非常适合用于及时修正动作。

另一篇提交于同一时间、同样出自陈志远等人的研究《ForeTac：Predictive Contact Guidance for Generative Robot Policies》则涉及对触觉感知的仿生预测。

由于 PACE 依赖触觉反馈的反应式控制，通过事件修正会出现来不及阻止失败的状况，团队便提出一种以「表征—预测—评估—引导」循环组织起来的预测性接触引导框架 ForeTac。通过编码当前触觉状态，以候选动作序列为条件预测未来触觉潜在轨迹，并使用从成功与失败的物理交互中学得的接触质量目标，评估每条预测轨迹。推理时，该目标的梯度通过触觉预测器反向传播，在执行前引导动作生成。

陈志远表示，两篇工作实际上有沿承性、彼此补全，PACE 的反应式触觉与 ForeTac 的预测式触觉覆盖了机器接触的完整状态，体现了小米机器人对触觉智能的持续探索。提到二者差异，陈志远认为 PACE 主要关注的是根据当前的接触反馈，让机器人在发现异常时及时修正动作，ForeTac 则进一步探索机器能否在执行动作之前就预测动作结果，从而在执行动作之前就提前优化动作。

「这一点很像人的行为。我们被尖锐物体碰到，会本能地因为疼痛缩手，但如果提前知道碰上去可能会被划伤，就会主动避免去接触。这是反应式策略与预测式策略的一个很形象的类比。」

数据稀缺仍是重点难题

PACE、ForeTac 有助于仿生机器人从接触的完整过程中还原触觉本质性的感知形式，那么这项技术目前的应用前景走到了哪里？

小米机器人团队透露，两项研究均属小米机器人在触觉技术持续性的前沿探索，但目前还没有大规模应用。游洋威表示，团队对于触觉技术的探索已经迈入深水区，一个比较大的问题出现在数据采集方面。

「我们需要专门的设备来做触觉采集，把操作时与物体接触的力反馈给操作人员，他才能做出比较精细的动作。这套设备比较昂贵、笨重，如果要扩展到灵巧手，就会出现问题。」

核心问题在于触觉数据和设备的双重稀缺。尽管不少业内人士正在投入触觉采集设备的研发，但尚未出现较好方案。面对技术的临时梗阻，团队将目光投向了人类数据的使用。「如果遥操作机器人很难采集到高质量的触觉数据，一个很自然的想法就是：我能否从人那里获取？」核心顾虑在于，一方面关于人类的动作与触觉采集同样没有成熟的设备，另一方面，由于人类数据与机器人数据存在着天然的本体差异，数据的训练效率可能也会因此受到影响，「虽然我们尝试把构型做得更一致，但预期中间仍然会有一些隔阂」。

不过，技术层面的临时梗阻并没有阻挡小米机器人对前沿探索的信心。在数据总量不够充足的前提下，小米机器人团队正在研究如何高效地利用数据，希望在短期内，依靠少量数据也能取得好的效果；而往长远看，搏一博「力大砖飞」、靠大量数据训出的效果或许更为理想。游洋威、陈志远相信，按时序通道组织触觉的方法自有其存在的意义，在未来一段时间内依然可以成立。有朝一日，这套方法将可以应用于大规模的人类数据，更好提升训练效率。

与此同时，小米机器人还在探索如何将多模态感知与世界动作模型相结合，进一步提升机器人操作能力。据团队披露，团队也在该方向上取得了一些进展。在 9 月举行的 IROS 2026 WorldArena 2.0 挑战赛中，团队以视触觉世界动作模型 ViTacX 获得真机操作赛道冠军。

未来两大攻关方向

根据反馈及时纠错，到预测接触、主动决策，再到学习更复杂的操作技能，是小米机器人近两年来持续探索的技术构想。PACE、ForeTac 的出现或将对 XR-1 等小米机器人已有的基座模型起到很好的补强作用。得益于小米在硬件、汽车、智能制造的优势，前沿技术可在研究完成后即投入工业场景测试验证，快速建立起机器人业务的商业壁垒。

深入前沿，触觉感官、模型侧的发展远未收敛，小米机器人还在精益求精。游洋威、陈志远表示，团队对技术演进保持开放态度，未来通用机器人技术的重点可能将聚集在基础模型、触觉技术，小米机器人部门正围绕这两大方向、汇聚核心力量攻关。实现新场景泛化、适应各方面干扰，以及从不同本体与失败场景中快速学习，是基座模型要最终触达的能力；同时，未来的感知模态会更丰富，「可能将从视觉扩展至多模态，向大脑集成」，触觉将是其中的重要一环。

回顾小米机器人的技术推进路线，从本体、灵巧手、基座模型到触觉技术的版图日渐清晰。人与机器指尖的真正触碰，或许就在未来不远。