SharpaDex v1.0 正式开源：发布约 300 小时真实触觉操作数据，覆盖 59 种任务
作者：江思奇
10 月 22 日，Sharpa 正式开源灵巧操作数据集 SharpaDex v1.0。该数据集包含约 300 小时真实机器人操作数据、28,993 条示教和 32,396,172 帧数据，覆盖 59 种操作任务。根据 Sharpa 官方介绍，SharpaDex v1.0 刷新了公开可获取的带指尖触觉真机灵巧手操作数据集规模纪录，为触觉感知、视触觉融合及复杂灵巧操作策略学习提供了新的数据基础。
机器人要在真实世界中完成精细操作，不仅需要识别物体及其空间位置，还需要感知指尖与物体接触时发生的变化。无论是精密装配、工具使用，还是柔性物体操作，接触状态都与动作执行和任务完成密切相关。如何将触觉、视觉、机器人动作与任务语义结合起来，是灵巧操作研究的重要方向。
300 小时真实操作数据，完整记录多模态信息
SharpaDex v1.0 基于真实机器人遥操作采集，由双 7-DoF 机械臂、双 22-DoF Sharpa Wave（W01）灵巧手及 7 个躯干关节构成的机器人平台完成。数据集共包含 495 个采集批次，按 30 FPS 计算，总时长约 300 小时。
在数据记录方面，SharpaDex v1.0 同步采集头部双目相机及左右腕部相机的视觉信息，并记录双臂、双手的关节状态、关节力矩和指尖触觉信号。每条示教还配有任务描述、场景信息、执行指令、成功标准及细粒度动作标注，使研究者能够关联分析机器人观察到的环境、执行的动作与实际接触状态。
每个指尖均配有 6 维力信号记录，同时保留原始触觉图像与形变图像。视觉、触觉、动作与语言信息在同一数据体系中相互对应，为研究真实物理交互过程提供了更完整的观测基础。
约 195 小时存在指尖接触，记录真实物理交互
触觉数据的价值不仅取决于数据量，也取决于它是否记录了真实、有意义的物理交互。SharpaDex v1.0 的统计显示，约 64.9% 的数据帧中至少有一根手指处于接触状态，对应约 195 小时的操作时间。
在全部 28,993 条示教中，有 28,992 条记录到过指尖接触，累计识别出 417,932 次指尖接触事件。数据覆盖从轻触到较大力度按压的不同接触情形，并与视觉信息、动作轨迹及任务语义保持时间对应。
这使研究者能够分析接触状态随操作进程发生的变化，探索触觉表征学习、接触状态识别、视触觉融合及力感知控制等问题，而不必仅依赖视觉信息推断机器人与物体之间的交互状态。
覆盖多指操作与双手协作，支持复杂任务研究
SharpaDex v1.0 不局限于基础抓取与放置，还涵盖工具使用、柔性物体操作、精密插装、旋拧以及颗粒和小物体操作等任务，包括锤钉子、撬钉子、滴管移液、熨衣服、挂衣服、装电池、插接模块、整理物品及装蓝莓等场景。
在双手协作方面，约 18.3% 的数据帧记录到双手同时接触物体，对应约 55 小时的操作时间。20 个任务中，双手同时接触的时间占各自任务时长的比例超过 20%。
部分任务还包含左右手分别承担不同角色的操作过程，例如一只手固定物体，另一只手完成插入或工具操作。数据同时记录多根手指的接触情况及手部关节运动，为研究多指协调、双手角色分配、动作组合及跨任务迁移提供了真实操作样本。
从任务描述到原子动作，构建三层语言标注
除多模态传感器数据外，SharpaDex v1.0 还建立了从任务、子任务到原子动作的层级语言标注体系，将连续操作过程与自然语言描述、时间边界及动作标签关联起来。
其中，任务层记录操作目标、场景、指令及成功标准；子任务层将连续操作划分为具有起止时间的片段；原子动作层则为相应片段提供更细粒度的动作语义。
数据集包含 224,087 段子任务标注，覆盖约 89.3% 的数据帧，并提供 45 种原子动作标签，涵盖 pick、place、insert、press 等通用动作，以及穿挂、吸液、研磨、换手等更具任务特点的操作。
通过将动作与自然语言描述及时间边界对应起来，研究者能够进一步探索任务分解、动作语义建模、长序列操作理解及操作策略学习。任务级成功标准也为成功检测与奖励建模等研究提供了文本条件。
覆盖 59 种任务，为灵巧操作研究提供数据基础
SharpaDex v1.0 共覆盖 6 类操作任务，包括 12 种柔性或可形变物体操作任务、14 种工具使用任务、18 种抓放与整理任务、8 种精密插装与装配任务、4 种颗粒与小物体操作任务，以及 3 种旋拧任务。
其中，工具使用、柔性物体操作、精密插装与旋拧等任务合计约 249 小时，占数据集总时长的约 83%。这些任务涉及连续接触、精细控制、多指协调或双手配合，为研究更加复杂的真实机器人操作提供了丰富样本。
随着具身智能研究从基础抓取逐步走向复杂的真实物理交互，高质量真机数据正成为推动机器人操作能力发展的重要基础。SharpaDex v1.0 将指尖触觉、多视角视觉、机器人状态、动作轨迹与层级语言标注整合到统一的数据集中，为触觉感知、视触觉融合、双手协作及复杂灵巧操作研究提供了可直接使用的数据资源。
目前，SharpaDex v1.0 已在 Hugging Face 公开发布。