LiberAI 发布 Liber-0,打通人类动作经验到机器人

作者:江思奇

11 月 4 日,物理世界模型初创公司 LiberAI 正式发布世界动作模型 Liber-0。

根据官方信息,Liber-0 在超 220 万小时的人类经验数据上完成预训练。团队采用 GPT-6 提出的 60 项操作任务做零样本评测:任务分为三类,每类 20 项,每项重复测试 10 次,总计 600 轮。用于测试的权重 checkpoint,没有用这批目标任务专属的机器人示范数据做定向训练。

最终整体成功率 36.0%:抓取放置(PnP)63.5%,短程非抓取放置(short Non‑PnP)34.0%,多步高难度 Non‑PnP 任务 10.5%。

这张图片是由大量零散的人物操作物品的实景照片拼接而成,核心位置标注着醒目的文字“2.2M+ HOURS OF HUMAN EXPERIENCE”,直观展现了Liber-0所依托的核心数据基础,即超过220万小时的人类经验,与文档中介绍Liber-0基于超220万小时人类经验预训练的内容形成呼应,通过大量生活化的操作场景画面,佐证了模型训练数据的来源。

Liber‑0 属于世界动作模型(World Action Model,WAM),基于 Mixture-of-Transformers 架构搭建,由语言、视觉、动作等多个专家模块构成。它联合预测未来视觉帧与动作,并引入统一本体表征,用来跨越人类和机器人在几何、运动学上的差异,实现动作迁移。训练阶段同时共训视觉问答、图像分割、图像编辑、视频理解等语义任务;模型也可以对接推理 Agent(例如 GPT‑6 Astra),由后者负责中间目标规划。

在同样的 60 项任务里,如果只用 GPT‑6 Astra 单独作为机器人策略(Astra-only)作为基线,三类任务成功率分别为 8.3%、5.0%、1.7%,依次对应抓取放置、短程非抓取放置、多步高难度非抓取放置;该项基线每组任务测试 3 轮,合计 180 次试验。官方数据显示,Astra 单次决策平均推理耗时 87.3 秒,成功完成一项任务的端到端平均时长达到 17.8 分钟。

它的预训练数据分为五大类:LiberSense 数据手套采集数据、跨本体机器人数据、公开第一视角数据集 OpenEgo、外部采集的 VendorEgo,以及互联网人类视频数据,另外搭配用于共训的视觉理解数据。预训练分为三阶段:先完成通用视觉预测,再联合学习世界与动作建模,最后调高手套和遥操作数据的采样权重,重点打磨操作能力。官方规模实验还发现,把互联网人类数据扩充到 200 万小时后,抓取放置、非抓取放置的进度分(0–100)分别是 64.6 和 51.2,表现仍然不如仅使用 1 万小时手套数据的版本。

配套的 LiberSense 数据手套厚度仅 0.3 mm,重 131 g,外观接近肤色。它可以同步采集手部姿态轨迹、主视角画面以及两路腕部相机画面,不用搭配机器人就能单独采集动作数据。据雷峰网消息,这款手套已经批量投入真实的工作与生活场景采集数据。

图片展示了LiberSense手套在不同场景下的应用。左侧A部分呈现了穿戴者全身装备,包括手套、背包、头戴式控制器等,标注了各部件名称。右侧B部分展示了在餐厅、工作台、办公室、客厅、零售店、厨房等场景下的第一人称视角录制画面,还标注了左右手21个关键点的手部姿势。该图与文档中LiberSense手套可同步记录手部位姿与轨迹、现场无需机器人即可采集的内容相呼应,直观呈现其应用场景。

在少真机数据迁移实验里,团队在搭载 WUJI2 灵巧手的 LEO 平台上测试了 8 项任务,每项重复 10 次,一共 80 组试验:只用全部机器人示范数据时,进度分为 72.8。随后固定机器人示范占数据池的 25%,逐步把手套数据占比从 25%、50% 提升至 100%,对应的进度分分别是 61.2、68.4、75.6。这套方案在真机示范削减 75% 的前提下,效果反而超过纯机器人数据组的 72.8。

他们还验证了手套数据能够教会模型新能力:只靠遥操作抓取放置数据时,非抓取放置任务进度仅 2.2;补充手套采集的非抓取放置数据后,直接涨到 47.5;再接入完整手套数据集,可以进一步到 54.6。

自研机器人本体 LEO 搭载灵巧手、纤细前臂、类人手腕与可活动腰部,腕部拥有三个旋转自由度,不用移动前臂就能实现接近人类的手腕转动;胸腔和腕部相机的视角和手套采集体系对齐,用来缩小人类经验迁移到真机时,在视觉、运动学上的落差。根据智东西信息,LiberAI 创始人刘松铭是清华大学计算机系博士。

官方表示,经过预训练的模型能够快速接入各类落地流程,公开演示里就包含制作奶茶这类生活化场景。

这是LiberAI发布的人形机器人Liber-0,其底座上清晰标注有“LiberAI”字样,外观为浅灰白色调,头部设计有类似人类的拟人化面部,佩戴浅色帽子,躯干及手臂部分采用带有纹理的特殊面料制作,还搭配了项链式装饰,底座配备滚轮,整体为轮式移动结构,符合该模型基于100小时仿真遥操作数据完成后训练的相关设定,该机器人可支持用户上传自定义物体进行仿真操作测试。

公开资料中,Liber-0 尚未披露模型开源与定价信息。在 100 小时仿真遥操作数据上完成 Liber-0 的后训练后,用户可在 https://sim.liberai.work/ 上传自定义物体,无需针对该物体额外训练即可在仿真中观察操作表现。