ACE-Data-0 开源背后：我们和大晓机器人聊了聊具身数据的下一步
机器人看视频就能学会一切？那你就太高估它了。
比如生活中最简单的场景，从桌面拿起水杯。这件事人类几乎不需要思考；对机器人而言，却是一条由感知、移动、抓握、接触、物体状态变化和任务记忆共同组成的长链条。
视频可以告诉模型「拿起水杯」，但手指在什么时候接触杯壁？握力怎样变化？杯子在三维空间里如何移动？被遮挡的手指在干什么？模型可全都不知道。
这正是具身智能的数据困境：数据很多，能够直接转化为行动经验的部分却很少。机器人真正需要的数据，不只是模仿动作，还包括动作怎样作用于物体、环境如何响应等等信息。
为了解决这一行业痛点，近日，大晓机器人联合南洋理工大学 S-Lab 发布多模态具身数据集 ACE-Data-0，以及一篇名为《ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine》的论文。论文报告，这套计划发布的数据集包含超过 150 小时的家庭活动记录、1700 万帧视频、200 个任务类别、50 名参与者、2 个真实家庭环境和超过 7.5 万个交互片段。
更值得关注的是，它的核心设计，是把具身数据的组织方式从一段段只能看见动作外观的视频，转向在同一时间和空间中记录视觉、运动、声音、触觉、物体状态与任务上下文。换句话说，模型需要学习的是做一件事为什么成功、何时会失败、物理世界如何改变。
不过，看完这篇论文，真正有意思的问题才刚刚出现：
-
大晓机器人所说 ACE-Data-0 属于 L5 级别的数据集，L1 到 L5 究竟如何划分？
-
ACE-Data-0 记录的是人类自然行为，但人的身体、触觉和动作空间与机器人并不相同。这些数据怎样才能转化成机器人真正可执行的能力？
-
当人类示范、机器人真机数据和仿真生成数据同时扩张，三条路线会如何分工？具身智能的下一道瓶颈，究竟仍在模型，还是正在转向数据？
因此，在论文发布后，42 号电波与大晓机器人相关负责人聊了聊多模态具身数据集 ACE-Data-0，试图从论文之外，更深入地理解大晓对具身数据、物理监督和行业演进的思考。
他判断，下一阶段的行业瓶颈很可能从单纯比拼模型架构，转向模型能否获得真实、完整、可复用的物理监督：「不同团队采用相近架构后，性能差异越来越由数据中的接触、状态、失败、长程上下文和跨本体覆盖决定。」
高信息密度从何而来
谈到为什么多种模态必须被放进同一时空框架，该负责人将现有具身数据的症结概括为一句话：“数据割裂造成的核心损失，不是少了某一种模态，而是物理关系被切断。”单独的视频可以识别动作外观，动作捕捉能够还原人体运动，触觉可以记录接触；但如果这些信号没有被锁定在同一时间线和空间坐标系中，模型就无法建立“看到什么—如何行动—接触了什么—物体如何变化”的完整链条。它可能擅长分类、检索或短动作模仿，却很难进一步学习状态预测、失败定位与长程规划。
这也是大晓提出“具身模型信息密度”分级的出发点。大晓机器人给出了更具体的解释：L1 主要是普通互联网视频或图像；L2 加入基础动作与语言描述；L3 进一步包含人体、手部或物体轨迹等结构化状态；L4 引入多视角、时空同步及机器人控制相关信息；L5 则要求在真实开放环境中，连续记录视觉、运动、声音、触觉、物体状态、失败恢复与长程上下文。
按照这一划分逻辑，ACE-Data-0 被定义为 L5 级数据集，依据是数据的组织方式、信息完整度与物理因果密度。相关负责人也强调，这一分级并不是在宣称模型已经全面获得泛化与反思能力；这些能力仍要在后续下游任务、跨环境测试和长期真机应用中持续验证。
这套判断的核心并不复杂：对机器人学习而言，1,000 段几乎相同的成功抓取，未必比一段完整记录“接近—接触—滑动—调整—稳定抓住”的数据更有价值。真正稀缺的信号，往往出现在行动结果发生变化的瞬间。
ACE-Data-0 因此没有要求参与者严格照着脚本一步步执行，而只给出目标级指令。比如“准备一杯茶并送到餐桌”，参与者可以自行选择杯子、路线和子任务顺序，也会自然出现等待、犹豫、返回上一步和处理意外的过程。同一个任务，有人先烧水，有人先找茶包；有人一次完成抓握，也有人会在物体滑动后重新调整。
大晓机器人相关负责人以倒水为例解释了这类过程的价值：人发现杯口没有对准时，往往会先暂停、降低水壶倾角、重新调整位置，再继续倾倒。标准成功轨迹只能告诉模型“理想状态下应该怎么做”，而完整过程还提供了失败前兆、暂停条件、原因判断和恢复策略。模型由此有机会学习什么信号意味着动作即将失控、何时应该调整，以及需要回退到哪一步重新执行。
“失败数据的价值，不是教机器人犯错，而是让它学会识别错误、定位错误并自主纠正。”该负责人表示。对于很难始终处在标准初始状态的家庭环境而言，恢复能力往往比复制一条成功轨迹更重要。
这些差异在高度标准化的数据采集中容易被当作噪声，但对进入真实家庭的机器人来说，它们恰恰构成现实。一个长程任务的难点，不只是视频更长，而是过去的动作持续改变未来的可选项：杯子被放到了哪里，台面是否已经清理，哪一步已经完成，某个物体是否离开视野后又重新出现。模型需要记住目标、追踪状态，还要在计划被打断时继续行动。
围绕这种自然行为，ACE-Data-0 设计了三类任务。原子级人—物交互每段约 3 分钟，覆盖倒水、清洗、擦拭、切割、折叠、整理等操作；长时序活动链持续约 20—30 分钟，把取物、清洗、切配、烹饪、装盘和收拾等子任务放在一条连续时间线上；人—场景交互每段约 5 分钟，记录行走、坐下、躺卧、锻炼、开关家具和姿态转换。即使最短的采集也以分钟计，而不是传统手—物交互数据中常见的数秒片段。
把家变成数据工厂
要记录完整过程，摄像机数量多只是第一步。真正困难的是：不同设备看到和测到的，是否真的是同一个时刻、同一个位置发生的事。
精细手部操作与房间尺度活动对传感器的要求几乎相反。指尖接触需要近距离、高密度观测；人在厨房、客厅和卧室之间移动，则需要大范围覆盖和稳定的全局坐标。为此，大晓将环境式采集引擎 ACE 设计成两套互补配置。
桌面尺度系统覆盖约 30 平方米的工作区，8 台近距离 GoPro 从不同角度观察操作区域，16 台 OptiTrack 相机负责光学动作捕捉，触觉手套记录手掌与手指区域的压力变化。它关心的是抓握怎样形成、手指何时滑动、工具和物体如何发生细微旋转。
房间尺度系统则覆盖约 200 平方米的完整家居环境，包括厨房、餐厅、客厅和卧室。8 台固定 RGB 相机与 12 台 OptiTrack 相机覆盖活动空间，即使存在家具遮挡，活动区域内任一点也能被至少 4 个外部视角观察。参与者还佩戴带有 4 路鱼眼相机和 IMU 的第一人称设备、41 标记点的动捕服，以及手部与触觉设备。外部视角补足全身和环境信息，第一人称视角保留接近机器人观察方式的局部画面。
两套系统最终输出的不是几份互不相关的文件，而是一条统一的多模态时间线。相机、动作捕捉、触觉和音频设备拥有各自的时钟与采样率，几毫秒偏差就可能让“画面里的手尚未碰到杯子”与“触觉已经产生压力”同时出现。ACE 以 60Hz 的动作捕捉时钟作为时间基准，通过让相机拍摄显示主机时钟的二维码来估计偏移与漂移。论文报告，独立复核得到的相机时间偏差低于 4 毫秒。
这不是单纯的工程指标。在抓取、碰撞、滑动、按键、切割和快速放置等接触瞬间，几十毫秒的偏差就可能覆盖整个关键事件。大晓机器人相关负责人表示，多设备同步决定了物理监督是否可靠：“模型可能因此把‘接近’误学成‘接触’，把‘加力’与错误状态绑定，甚至学习到颠倒的因果顺序。”
空间上，固定的第三人称相机、不断移动的头戴设备、人体、双手和物体被注册到同一世界坐标系。外部相机的中位重投影误差低于 3 像素，头戴相机约为 2 像素。这样，研究者可以从任意视频帧找到对应的人体姿态、物体六自由度位姿、接触压力与声音，也可以把同一时刻的三维点投影到不同相机画面中。
这套工程并不轻。论文披露，一小时采集大约产生 1TB 原始数据。数据集提供四路第一人称鱼眼视频、八路第三人称视频、41 关节人体骨架、手部姿态、SMPL-X 参数、物体网格与 60Hz 六自由度轨迹、多源音频、全掌压力图，以及相机内外参与同步表。除自然语言描述外，大部分标注来自经标定的物理测量，而非对视频的事后模型估计；文本描述由 Gemini 生成，再由人工检查修正。
这正是 ACE-Data-0 相对普通活动视频最实质的变化：视觉不再是唯一真相。视觉负责呈现外部变化，运动数据说明人体和物体怎样移动，音频记录碰撞与设备状态，触觉则直接告诉模型接触是否发生、压力分布在哪里。它们不是各自描述相似动作，而是在同一时空框架里共同记录同一次行动。
在大晓的设想中，不同模态最终也会形成清晰分工：视觉负责全局理解与动作预判，触觉在关键接触阶段提供闭环校正。普通刚性物体抓取可以更多依赖视觉；柔性包装、布料折叠、线缆整理、易碎物体、插拔装配及精确控力任务，则更需要真实触觉反馈。多模态的意义不是让传感器简单叠加，而是让每种信号在它最擅长的环节发挥作用。
30 多种方法的能力检验
ACE-Data-0 的论文首先选择做一项更基础的诊断：把具身感知拆成底层信号、场景组成和交互过程三层，在预留的 10 小时测试数据上评估 30 多种现有方法，观察不同模型在真实家庭交互中分别具备哪些能力，又可以从哪些方向继续提升。
第一层是从视觉预测触觉。模型只看第一人称视频，需要判断什么时候发生接触、压力分布在手掌什么位置，以及压力大小。三种基线中，TouchAnything 的帧级接触状态准确率达到 0.7095，明显高于另外两种方法；但它的接触区域 IoU 只有 0.1646，考虑压力大小后的体积 IoU 只有 0.1357。换句话说，模型已经比较擅长判断“碰到了没有”，却远没有学会准确回答“碰在了哪里、用了多大力”。这也说明视觉与触觉更可能互补，而不是彼此替代：视觉可以预测接触趋势，触觉则为压力、摩擦、局部滑移与即将失稳提供直接证据。
第二层是人体运动恢复。论文评测了单帧、时序、场景感知、多视角和第一人称等多类方法。结果显示，一些模型能够在单帧中恢复相对准确的关节姿态，但把这些姿态连成房间坐标系中的长期运动轨迹后，误差会明显增大。场景信息主要帮助模型判断人位于房间的什么位置，却未必同步改善局部关节姿态。多视角方法在这组实验中也没有自然胜过最强单视角方法，论文将其部分归因于可用多视角基线仍然有限，而不是据此否定多视角的价值。
第三层是手—物交互中的手部运动。第一人称画面离手更近，却会受到头部自运动、鱼眼畸变、截断和模糊影响；第三人称相机坐标稳定，但手在画面中更小，也更容易被身体或物体遮挡。在配对数据上，第三人称方法报告的最佳世界坐标轨迹误差为 63 毫米，而两种第一人称世界坐标方法分别为 98.2 和 102.1 毫米。虽然这不是同一模型的严格视角消融，结果仍指向一个共同问题：局部手指姿态可以做得不错，真正拉开差距的是能否在长序列中维持稳定的全局轨迹。
“像素更大，不等于空间关系更清楚。”大晓机器人相关负责人说，第一人称视角是一个持续移动的局部窗口，模型需要把相机运动、人体运动和物体运动解耦，并维持统一的三维世界坐标；固定第三人称视角距离更远，却能持续观察人体、双手、物体与环境之间的整体关系。ACE-Data-0 同步记录两类视角，恰好为研究这种互补关系提供了同一组物理真值。
这些结果让数据集的价值变得具体。一次机器人任务失败，可能不是“模型不够大”，而是没有感知接触、没有恢复物体状态、丢失了全局位置，或者在长时间尺度上积累了漂移。只有把这些中间信号记录下来，研究者才能从最终成败继续向前追问：错误究竟发生在哪一层。
从数据集到数据基础设施
ACE-Data-0 的意义不只在于为触觉推断、人体运动和手部运动恢复提供新的 benchmark。第一人称与第三人称视频、人体和物体轨迹、音频、触觉与语言描述都处在统一时空框架中，这批数据可以进一步进入模仿学习、世界模型、视觉—语言—动作模型（VLA），也为人类示范向不同机器人本体的迁移提供更完整的监督。
从人类自然行为走到机器人执行，中间需要解决的是任务意图、物理约束和具体本体之间的映射。大晓机器人相关负责人将这条路径分为三层：先从人类数据中抽取任务意图与物理约束，再映射到具体机器人本体，最后通过真机反馈校正控制误差。
“人类数据更适合教‘做什么、为什么这样做’，机器人数据则负责解决‘这台机器具体怎么做’。”该负责人表示。人类示范能够提供任务分解、物体功能、动作后果、长程顺序调整与失败恢复；真机数据则负责抓取力度、关节控制、末端轨迹、摩擦补偿、碰撞边界与本体动力学。由人类数据建立通用认知与行为先验，再用机器人数据完成本体适配和控制对齐，有望减少每一种机器人、每一个任务都从零采集数据的成本。
从更大的行业视角看，具身数据的三条主要路线也会形成互补。人类自然示范适合规模化学习任务意图、行为多样性、长程结构和生活常识；仿真与世界模型生成数据可以低成本覆盖极端情况、失败分支与大量环境变化；机器人真机数据则提供本体动力学、接触控制、执行误差与安全边界。相关负责人判断，生成数据很难完全替代真实物理交互，而自然人类数据所包含的任务结构、开放变化与恢复策略，仍有很大价值尚未被充分利用。
这也意味着，具身智能的下一轮竞争可能不再只是比拼模型架构。当不同团队使用相近的 VLA 或世界模型架构后，性能差异会越来越取决于数据是否保留接触、状态、失败、长程上下文与跨本体信息。行业衡量数据的方式，也会从“收集了多少小时、多少轨迹”，逐步转向这些数据能否被同步、转换、验证和复用。
相比建造一个包揽一切的超大数据集，大晓更希望推动一套让多源数据相互理解的接口。不同机器人、传感器、控制频率、坐标系和动作定义需要统一时间同步、空间坐标、人体与机器人动作表征、物体状态、质量评价与语言描述，才能避免规模扩大后形成新的数据孤岛。
“真正可能成为行业接口的，不一定是拥有最多数据的团队，而是能够让多源数据低成本接入、转换、验证并用于训练的开放标准与工具链。”大晓机器人相关负责人表示。
从这个角度看，ACE-Data-0 中的“0”更像一个起点。它把一间真实的家转化为可持续记录、统一标定和精准同步的采集环境，也把人类日常生活中的感知、接触与行动转译成机器人可以读取的物理经验。当这些经验能够跨场景、跨任务和跨本体流动时，高质量数据才可能从单个团队的资源，进一步成为推动世界模型、VLA 与通用物理智能发展的共同基础设施。