清华系创业公司新作：机器人看了 100 万小时人类操作，学会自己想办法
螺丝、包装袋、瓶盖，这些日常物件全都是为人手设计，但机器人的末端执行器大多还停留在两指夹爪。想要打造能在真实世界落地的通用机器人，灵巧手操作是绕不开的一关，而真正的瓶颈在于操作经验。通用模型需要见过足够丰富、大规模的真实操作样本，可机器人只能在已经掌握的场景里采集数据，很难把数据集做大。这类精细操作经验，目前大量沉淀在人的手部动作里。
10 月 12 日，清华系具身智能创业公司 Nature Will 发布了 Natura-1。
具身基础模型的目标，是让单个模型从海量经验中学习感知、预测、推理与行动，再将能力迁移到机器人本体。现实世界里的工具本就是按人手打造，钉子、刷子、包装袋、瓶盖都适配人手。模型想要做到真正通用，就必须掌握灵巧手操作。团队选择以灵巧手作为突破口，押注人类第一视角操作经验。这条直接用人类经验训练灵巧手的路线，此前还没有人跑通。
过去的方案存在两大难点。
在灵巧手侧，20 个自由度会让动作空间随关节数量指数级扩张，接触交互的动力学特性也几乎没有试错空间。多数研究要么退而求其次，用简单夹爪训练通用策略；要么针对灵巧手，为每项任务单独搭建一套定制系统。
在数据侧，机器人采集的数据量不足以支撑通用模型训练。人类第一视角视频存量更大，但过去很少有人直接用这类数据训练灵巧手控制。
Natura-1 同时改动了训练数据源与模型架构。它把完整交互片段的自回归序列送入 500 亿参数混合专家 Transformer，将语言、图像、视频、动作放在一起联合学习。视频与动作被视作同一物理状态的两种表达，通过联合去噪，让模型在学习视频预测的同时习得动作控制。
数据层面，团队搭建了清洗、动作重建、语言标注整套管线，将一百万小时人类第一视角素材，转化为带有语言、动作监督的轨迹数据；再用少量真机机器人数据，把模型迁移到实体灵巧手上，最终在灵巧手真机基准拿到 53.4 分。
01一套序列，搞定看、想、动
Natura-1 是 500 亿参数混合专家 Transformer，将语言、图像、视频、动作放进同一条序列联合学习。模型先用一百万小时人类第一视角经验完成预训练，再通过少量机器人数据做后训练，最终驱动 20 自由度灵巧手。
指令理解、世界建模、动作输出不再拆分成多个独立子系统，全部交由这一个序列模型统一处理。团队从三个维度权衡取舍：同等算力下的学习收益、单条轨迹能挖掘出的监督信息、模型真正习得的内容，最终的解法，就是把感知、推理、动作全部收拢到同一条序列里。
模型把完整交互片段 episode 当作一条序列做自回归建模，语言、图像、视频、动作各自编码为独立 token。**前向与反向传播覆盖轨迹全部步骤，得到的监督信号，远比只截取单组观测 - 动作窗口更加稠密。**骨干网络采用标准混合专家 Transformer，不同模态的差异仅体现在序列排布与注意力模式，核心计算对硬件更友好，多模态物理学习的训练效率，能够看齐顶尖的语言、视频大模型。选用标准骨干，也是为了不让架构限制扩展性，训练吞吐提升就能直接转化为模型的学习能力。
**相机看到的画面、手部执行的动作，本质是同一个物理状态的两种表达。**学习预测视频的过程，同时也是在学习如何操控机械手。视频是供给充足的模态，动作标签却稀缺且获取成本高，单条轨迹里视频对应的 token 数量远多于动作。Natura-1 把过往视频当作记忆，将未来视频预测作为世界模型的一环；视频与动作借助流匹配、联合去噪共同训练，分别设置损失函数。单条轨迹能够提供远超动作标签本身的监督信息，这也是模型在长时序任务里稳定、具备容错恢复能力的底层原因。
仅仅拥有预测能力还不够，还得让语言指令真正发挥作用。
多数场景下，仅凭画面就能预判后续走向，语言信号很容易被模型忽略。模型可以精准拟合视频与动作的联合分布，却无视文字指令。团队在数据管线中加入细粒度的文本描述，让语言成为整个模型的承重结构：一旦文本描述的意图改变，模型预测出的视频画面与手部动作也同步变化；同时引导模型借助视觉先验，定位指令指向的目标场景。这套处理思路抓住了「预测不等于理解」，把零样本指令跟随建立在意图理解之上，让模型按照文字描述的目标执行动作。
02 百万小时人类经验如何搭建
数据层面，Natura-1 的底座是一百万小时第一视角人类数据，拆分为 6,170 万段交互片段、31.7 万个任务、1.4 万个场景，包含单目、双目、多目以及腕部多种拍摄视角。这套素材以定向受控采集为主体，再补充大量互联网第一视角视频拓宽覆盖范围。
团队清楚受控采集自带偏差：这类采集更容易偏向简单、可重复的操作，那些需要大量准备工作、专属场地的复杂动作，很容易被遗漏。为此，他们把采集内容按照任务、场景、交互模式做结构化分类，搭配带数据库的智能体流程做语义检索，对照分类盘点供应商素材，识别重复内容与缺失环节，动态调整采集优先级，补齐短板。
原始视频想要转为可用的训练信号，要走完清洗、动作重建、语言标注三步。
-
清洗环节对全部数据源统一处理：依靠视觉特征跨供应商去重，剔除重复视频、重叠片段和高度相似素材，再逐条校验内容完整度、连贯性与时间线一致性。
-
动作重建面向单目、双目第一视角视频，依托自研管线还原稠密手部与人体动作，输出标准化表征。在带有动捕真值的内部基准上，这套方案的 MPJPE 指标相比现有开源方案降低 41%。
-
语言标注采用共享上下文的智能体流程，分层描述任务目标、中间步骤与单次动作，保证文本描述随时间线保持前后一致。
整套底座可以承载这么大的数据体量。执行层基于 Kubernetes 实现弹性调度、自动扩缩容与故障恢复；存储层采用湖仓架构，统一管理原始视频、传感器数据与中间产物，目前管理数十 PB 数据，每周可处理 35 万小时第一视角素材，算力扩容后能够线性提升处理能力。团队还基于语义嵌入，借助聚类和视觉语言模型搭建任务树、场景树，定位数据密集区与稀缺区，反向调整采样和采集优先级。
整套系统围绕采集、处理、训练消费的完整生命周期搭建，数据集持续扩容的同时，模型也能不断迭代，不需要推翻重构。
训练与推理共用一套自研技术栈。训练端依靠自研数据管线，规避远端对象存储读取卡顿问题；规模拉满后实测，混合专家模型算力利用率超 50%，GPU 利用率达到 98%。推理端使用 Rust 重写编排与运行时模块，削减 CPU 开销，将观测流、计算、动作传输并行处理，搭配融合 CUDA kernel 压缩关键路径耗时，端到端推理延迟控制在 100 毫秒以内。自研注意力 kernel 在前向、反向基准测试中平均性能约 1,200 TFLOP/s，性能是经过调优的 FlexAttention 的 6 倍以上；系统层面，端到端训练速度提升 1.7 倍，推理速度提升 2 倍。训练、推理使用同一套算子，协同设计，是整套系统训练、真机部署两端都能稳定运行的基础。
**数据规模上涨，误差同步下降，这套工程栈的价值由此体现。**团队不只关注训练集误差，还预留真机验证集，用同一套权重做复核。当训练数据从 4.4 万小时扩充至一百万小时，人类数据集上动作 MSE 下降 47.7%；真机验证集上 MSE 下降 67.7%。真机验证没有额外用机器人数据微调，两次评估均基于历史观测做每一步预测。这条变化曲线，印证了「通用模型的上限由它见过的经验决定」，也说明经验积累到一定规模，学到的动作能力可以直接迁移到实体机器人上。
03 灵巧手真机跑分
真机评测基于双臂机器人开展，主平台为配装 Wuji 灵巧手的 ROKAE AR5，整套手部拥有 20 个自由度；同时使用 ARX AC One 双臂夹爪平台运行基线，用来横向对照。团队搭建了一套包含十二个能力维度的灵巧手评测基准：既拆分单项能力逐一打分，又设计四项综合任务串联各项技能 —— 托盘装物并搬运、抽纸巾擦水后丢弃、加糖搅拌、备菜，每项都要求模型从头连贯执行到收尾。之所以自建这套评测标尺，是因为目前行业内还没有公认的灵巧手基础模型，能够实现同标准横向对比。
本次设置两组基线对照：成熟的视觉语言动作基础模型 π0.5，以及直接把前沿大模型 GPT-6-Astra 用作编码式策略的方案。在灵巧手平台上，两组基线全部无法得分。哪怕 π0.5 已经用灵巧手机器人数据做过微调，依旧任务失败；GPT-6-Astra 则超出单任务 60 分钟时长上限，没能产出有效结果。切换到 ARX AC One 夹爪平台，并且用同批通用任务的夹爪演示数据微调 π0.5 之后，π0.5、GPT-6-Astra 分别拿到 13.5 分、16.7 分。而 Natura-1 在 20 自由度灵巧手上拿到 53.4 分，开启智能体模式后分数提升至 59.1 分。
四项基准任务都没有放进 Natura-1 的后训练数据集，场景、物体与动作组合全部属于全新内容。团队还为每项任务，匹配一条从训练集中检索出来最相近的示范案例，直观展示评测场景和模型过往学习经验之间的差距。四项任务分别考验组合操作、工具物体交互、空间场景理解、全新动作泛化能力，场景布置、物体摆放完成后，模型就要独立完成操作。全部评测采用固定真机轨迹，不会针对单项任务单独调参，检验的是模型泛化能力，不是简单复刻已有样本。
**这份成绩，一半看响应速度，一半看长时序稳定性。**在增加任务级微调之后，六项长流程任务都可以依靠单条策略一次性跑完，大多持续数分钟全程无需人工介入。任务包含包馄饨、装箱打包、沏茶、写书法、贴手机膜、制作酸奶碗，混杂软质材料、弹性物件与精细工具。这类工作没法靠固定轨迹完成：手掌托住软物料、虎口卡紧工具手柄、手指随时变换抓握姿态，还要完成双手交接。模型必须边执行边读取环境反馈，实时调整握姿和发力大小。
团队另外测试开放指令下的零样本能力：由语言设定目标，依托真机环境反馈引导动作。物体移位、接触条件变化、执行过程被打断，模型都能调整动作，持续朝着指令目标推进。测试中，工作人员拿长杆反复挪动柠檬与垃圾桶，模型会根据最新位置实时修正动作，依旧成功抓取、投放；在挑瓶子任务里，要求避开蓝、粉、橙、绿、黄、紫六种颜色，模型比对全部色彩，选出符合要求的瓶子；就算旁边持续人为干扰、目标位置不断变动，模型依旧追踪目标，完成任务。
04 模型临场自创操作动作
Natura-1 还摸索出不少人工没有预先设计的操作方式。这些动作不在预设评测项目中，是机器人真机测试过程里自发涌现的。碰到陌生场景或是动作卡住时，模型会自主想出新办法。这类行为诞生于实时交互，为了继续完成任务，它会根据眼前的物理状况临场规划，就算机器人示范样本里从来没有相关动作，也会向着目标不断尝试。
遇到抓握困难、工具陌生或是直线路径行不通，Natura-1 会主动换一套方案。训练阶段只教过它捏住卡片边缘拾取，真机上它演化出新策略：先把卡片推到盒子边缘，让出一角悬空，再伸手探进缝隙从下方托举取出。篮子放在够不到的高台，提手穿了一根长杆，它就抓住长杆往回拉，把篮子勾到工作范围内，一只手按住长杆，另一只手取出线团。叠杯到一半杯子倾倒，捡回来时杯子倒扣，它会在空中将近 180 度转动手腕，把杯子摆正再放置。笔记本、键盘从未出现在机器人训练数据，但接到按空格键的指令，它可以识别按键，伸出食指按下，等到屏幕亮起再抬手。
这些中间步骤既没有写在指令中，也不存在于机器人示范样本，全部是模型临场生成。**团队认为，这是模型从海量人类经验中习得隐式物理规律的体现。除了在过往学习的轨迹之间做插值复用，它还能针对当下的物理场景，生成全新解决方案。**在团队看来，这种临场应变的能力，是海量真实经验培育出物理直觉的早期迹象，也是通向通用机器人的重要信号。