简智机器人 DAS 2.0 将亮相 CoRL,覆盖头手协同与全身数据采集
作者:江思奇
11 月 9 日,简智机器人在美国奥斯汀举办的 CoRL 会议上正式展出 DAS 2.0 系列。新品包含新一代灵巧手数据采集手套 DAS Dex 2.0,以及新一代第一视角多模态采集设备 DAS Ego 2.0。两套设备协同捕捉环境画面、手部运动与接触信号,为机器人模仿人类操作提供训练数据。

教会机器人复刻人的操作,难点从来不止是堆砌更多操作视频。第一视角镜头虽然能够记录完整任务流程,却常会因为遮挡看不清手部姿态;即便手部轨迹看起来相近,最终产生的接触效果也可能完全不同。只采集手部动作,还会丢失前置的靠近、体位调整,以及操作结束后的移动、转向等关键环节。
DAS 2.0 通过多套配置拆分采集需求:Ego 2.0 负责拓宽场景与任务边界;搭配腕部相机,可补全手部靠近、微调、接触瞬间的特写画面;联动 Dex 2.0,则同步记录手部关节姿态与触觉信息。而全身采集方案,进一步打通空间位置、躯干姿态与手部交互,把动作依托的身体状态、任务前后连贯的动作链条完整留存。
三套配置,适配不同采集目标

Ego 2.0 主打自然场景下的大规模采集。依靠第一视角影像与头手轨迹,完整记录操作全过程,适配不同操作者、空间布局、物体形态与操作习惯。和固定工位里标准化的示范数据相比,自然场景记录还能纳入异常情况、失败尝试以及对应的修正动作。
Ego 2.0 搭载 2 颗 500 万像素主相机、4 颗 200 万像素辅相机,整机水平视野从 270° 拓展至 340°。更高像素有利于保留手指、物体边缘这类精细细节,更广视野则可以收录周边环境信息。简智机器人给出的指尖追踪标称精度为 4 毫米;实际重建效果仍会受镜头参数、曝光、标定以及遮挡情况影响。

叠加腕部相机之后,数据同时保留全局任务背景与手边细节:比如手从哪个方位趋近物体、手指如何形变调整、物体会不会随触碰发生位移。这套方案依旧以视觉采集为主,适合补足精细动作素材;但拍摄距离、运动模糊、遮挡、多视角配准偏差都会影响记录质量,一部分关节状态和接触信息依旧需要算法推断。
Ego + Dex 组合,则可以拿到实测的关节与触觉信号。Dex 2.0 采用侧置仿生外骨骼结构,在指背、指腹、掌面留出充足空间,降低设备对贴面抓取、掌内微调这类动作的干扰。据简智介绍,手套依靠自研半柔性压阻电子皮肤采集触觉,在为期一个月的重复动作测试里,测量响应保持稳定。

Dex 2.0 结合微型磁编码器与运动学标定,输出具备 21 DoF 的手部运动表征;单只手套搭载 16 块触觉传感器,合计 980 个感知单元,最小检测力可达 0.1 N。关节数据可以在视觉被遮挡时补全手部构型,触觉数据则记下接触位置与受力变化,用来区分外观相似、实际交互结果不一样的操作。
从真实触觉,到视觉接触估计

Ego、腕部相机与 Dex 同步采集的数据,能够用来训练视觉模型识别接触状态:以画面作为输入,关节、触觉实测数据充当监督标签。经过配对训练,模型有望在不佩戴 Dex 的纯视觉采集场景里,预判接触是否发生、接触区域以及变化趋势。
但这类估计结果,不能等同于真实测量值。物体自重、隐藏接触等信息很难单从图像判断,模型输出必须附带置信度;如果涉及精准力值或者机器人闭环控制,依旧需要本体自带传感器反馈。视觉触觉模型的价值,是把高精度采集得到的物理监督,泛化到体量更大的视觉数据集,而非取代硬件实测。
多模态数据能不能形成可靠监督,时间同步是关键一环。简智机器人表示,Ego 2.0 与 Dex 2.0 依靠统一时钟、硬件触发与曝光协同,做到 1 毫秒级头手同步。按 0.5 米 / 秒 的手部运动速度估算,1 毫秒时差对应的位移大约为 0.5 毫米,能够减轻动作轨迹和接触标签错位的问题。
Ego 2.0 支持免关机更换磁吸电池包,单块电池续航约 2.5 至 3 小时。长时间连续采集,除了设备续航,还需要配套的状态巡检与后处理流程,减少采集中断、过滤无效数据。
全身采集补齐任务的完整逻辑

单靠手部轨迹,很难解释机器人为什么要上前、侧身或是下蹲。全身采集把环境观测、躯体运动、手部交互放在统一时空基准下,留存操作前的站位选择、操作中的躯干协调,以及任务完成之后的转向、搬运动作。
这些记录可以用于策略学习与动作生成:机器人不止要学会伸手抓目标,还要学习在不同高度、距离、障碍物条件下,如何调整基座、躯干和手臂去完成同一个任务。当然,示范动作能否迁移到实体机器人上稳定复现,最终还是取决于本体硬件、接触反馈与控制系统。
DAS 2.0 的核心思路,是把不同精度、不同成本的采集手段整合进一套统一的数据框架:Ego 负责拓展真实场景的覆盖广度,腕部相机补充近距离动作细节,Dex 提供关节与触觉真值,全身数据串联起肢体动作和完整任务链路。训练时可以按需组合各类数据,用大规模示范拓宽场景分布,再依靠高精度测量约束关键动作与接触状态。