Kosmo 与 Ropedia 合作,将三维场景与人类操作记录对齐

作者:江思奇

11 月 13 日,三维空间数据引擎 Kosmo 与物理 AI 数据公司 Ropedia 宣布达成战略合作。双方将结合真实场景的三维扫描与第一视角任务记录,为物理 AI 模型提供空间结构和人类操作过程相互对应的数据。

具身模型要在真实环境中完成操作,既要识别房间和物体的空间关系,也要理解人如何移动、接触物体并改变它的状态。三维扫描可以还原场景,第一视角记录可以保留任务过程;如果两类数据缺少空间和时间上的对应,模型就难以把动作与场景变化联系起来。

双方合作的重点,是让空间数据与人类经验进入同一套采集和处理流程。

11 月 12 日公布的 Ropedia Xperience 2 项目,包含 1,589 个已发布的公制尺度 3D 扫描场景。更广的采集清单包括 4,230 条第一视角任务记录,覆盖 74 项任务,累计 131 小时。

项目采用两阶段采集流程:先用手持扫描设备记录真实空间,再由操作人员佩戴 Ropedia 的 HOMIE Gen 2 头戴设备,在相应场景中完成任务记录。处理流程会估计相机轨迹、人体与手部运动,并为任务添加分层语言标注,再将记录配准到场景坐标中。

同一份采集数据还可以用于不同环节。Xperience 2 展示了将扫描场景转为仿真环境、把人类动作重定向为机器人轨迹、在虚拟环境中遥操作,以及生成长程任务轨迹等用法。项目也设置了深度与几何、3D 目标检测和空间智能评测,对多种模型进行测试。

Kosmo 于 10 月 14 日推出 Kosmo One 空间相机与 Kosmo World 云平台。Kosmo One 采集场景的几何和影像信息,Kosmo World 将数据处理为 3DGS、Mesh 和深度等三维资产,并支持场景理解。

Ropedia 负责记录人在场景中的任务过程。HOMIE Gen 2 采集第一视角视频和传感器信息,Ropedia 的处理系统再完成时间同步、空间配准、动作估计、任务切分和语义标注。两家公司由此分别提供场景数据与操作经验,并将它们整理为可共同使用的数据。

双方计划根据模型和应用需求制定采集规范,再开展针对性采集;后续训练中的效果也将用于调整数据采集方向。合作将围绕这套流程持续推进,让新增数据更贴近模型实际需要。