宇树新大脑首秀,全身智能从概念走向真机

7 月 20 日,宇树科技正式发布面向家居康养多任务的具身大模型宇树 UnifoLM-OminiA-0.3,并且该模型原生搭载于宇树 G1 机器人,标志着宇树机器人在民用服务赛道进入实质性落地阶段。

从官方描述来看,宇树 UnifoLM-OminiA-0.3 的核心亮点在于,单个模型即可支持语音、视觉等全模态交互理解,全程自主、稳定抗干扰地控制 G1 机器人执行任务,实现感知到执行的全链路闭环。

在此基础上,结合宇树官方视频中的五个真机演示,我们进一步将其能力归纳为四个方面:场景感知、指令接受与任务规划、视觉识别,以及全身智能。

不止于双手和视觉,更是全身智能

过去,具身大模型通常部署在两类硬件上:一是固定底座的机械臂,完成狭窄的桌面操作;二是移动底盘加升降柱的复合机器人。

相比之下,宇树坚持用更强的模型直接适配有双足、有腰的人形本体。搭载 UnifoLM-OminiA-0.3 的 G1 机器人,在五个任务中展现了这种路线的独特优势。

搬运抱枕任务中,宇树 G1 机器人根据工作人员的指令,先是弯曲膝部和腰部,再将地上的抱枕搬运到凳子上。途中当工作人员问起抱枕的颜色时,宇树 G1 机器人能正确地回答「白色」。

在取出药盒任务里,工作人员让机器人取出第三层的药盒放到柜子上,机器人在自主挑选出蓝色药盒的过程里,还正确回答了柜子里有红、蓝、黄三种颜色的药盒。

在整理衣服任务中,宇树 G1 机器人在回答工作人员关于衣服描述问题的过程中,仍然稳定地将黑衣服收入篮子里,还将后续工作人员新加的蓝衣服也放入篮子中。

在整理盘子任务中,机器人不单单能把盘子放进洗碗机,还能告诉工作人员洗碗机里有个透明的杯子

在照顾病人任务中,机器人先是根据指令找到调低病床的机关位置,再俯身进行手臂旋转操作来调低病床。当工作人员喊停时,机器人也能立刻停下手里操作。

在五个真机演示中,搭载 UnifoLM-OminiA-0.3 模型的 G1 机器人展现了其良好的语音交互反馈和指令处理能力,即边识别、边回答、边完成任务,过程自然流畅。

而更值得关注的细节是,无论是搬抱枕、取药盒、放衣服,还是将盘子送入洗碗机、俯身调低病床,宇树 G1 机器人都自然地弯曲腿部和腰部来配合上肢操作。这或许代表着 UnifoLM-OminiA-0.3 首次让机器人拥有了协调控制本体的全身智能能力。

与此同时,UnifoLM-OminiA-0.3 不仅可以识别药盒红、蓝、黄的常见颜色,还能识别出杯子是透明的,说明该模型强大的视觉识别处理能力。

还有待观察的地方

搭载了 UnifoLM-OminiA-0.3 的宇树 G1 机器人给予了我们机器人进家的想象,不少人乐观地评论「开始干活了」、「这才是机器人该干的正经事」。诚然,相比于 benchmark 的技术炫技,这个视频所展现出来的能力和信息更贴合人们对机器人进家的场景需求。

然而,我们也同样需要清楚的是,经过大量单一数据训练和微调,宇树机器人想完成上述单个场景任务已经不算什么难事。

事实上,短短两分多钟的视频仅展示了机器人在固定场景下的表现,无法体现模型面对陌生环境时的适应能力,其场景迁移与泛化水平也有待验证。

并且,正如上图的评论,宇树 UnifoLM-OminiA-0.3 虽然展现了良好的任务规划、全身运动控制和指令反馈能力,但是任务运行速度和任务成功率并没有在视频中体现出来,需要后续完整的技术报告和实际的真机体验才能作出完整的评估。