星尘智能发布 CoMind 框架,探索机器人主动协同
作者:江思奇
11 月 13 日,星尘智能发布 CoMind(Be My Eye)多机协同框架。该框架面向机器人协作中的视野遮挡与信息传递问题,尝试让机器人主动筛选并共享影响队友决策的任务信息,而不是依赖中心节点分配每一步动作,或直接传输大量原始数据。

在组装纸箱、叠被、冰箱补货等任务中,机器人的视野和操作状态往往互不相同。一台机器人掌握的信息,可能正是队友完成下一步动作所需要的依据。但如果所有决策都由中心节点统一调度,细致动作需要反复上报和等待;如果机器人只进行简单通信,又可能缺少对任务进度和动作的有效理解。

CoMind将协作拆解为信息提取与共享、协同决策两个环节,目标是在分布式执行中,让每台机器人既能利用自身观测,也能使用队友提供的关键信息。
机器人共享任务上下文,而非转发全部画面
CoMind首先从视觉信息中提取与任务相关的上下文。星尘智能介绍,模型在训练中不仅学习当前画面中的内容,也学习哪些信息会影响后续动作,并结合任务进度识别队友当前处于哪个执行阶段。

例如在组装纸箱时,机器人需要知道队友是否已经就位、是否准备插入箱页;在寻找特定物品时,则要共享目标的关键特征。系统据此筛选信息并传递给队友,减少无关画面和数据带来的通信负担。
接收信息的机器人会将队友共享的上下文,与自身视觉观测、任务指令和本体状态结合,再输入视觉—语言—动作(VLA)策略生成动作。框架采用对称的信息编码与动作策略接口,使每台机器人都可以提取、发送和接收任务信息。
依据动作结果优化信息传递
CoMind还引入动作级反向传播机制。训练时,系统根据机器人动作的结果优化信息编码器,使其学习哪些信息更能帮助队友完成任务。
以盲盒置物为例,一台机器人能看到目标位置,另一台则被遮挡。接收信息的机器人如果放置错误,动作结果会作为训练信号,帮助发送端调整后续共享内容。模型优化的目标因此不仅是提取清晰信息,也包括传递对协作决策有用的信息。

星尘智能在六项任务中测试了 CoMind,包括纸箱与哑铃组装、叠被收纳、冰箱补货、盲盒置物和隔墙跟随等。公司公布的结果显示,在隔墙跟随拿笔测试中,任务成功率从 0% 提升至 100%;在遮挡条件下寻找指定盒子并放置物品的测试中,准确率从 38.9% 提升至 88.9%,信息传输量减少 80%。

这些结果对应特定任务和测试条件。不同任务的成功率、准确率及通信量如何统计,会影响结果的比较与解释;CoMind在更广泛场景中的表现,还需结合后续测试和实际部署观察。
从共享信息走向协同预判
星尘智能称,CoMind目前侧重于任务上下文共享,后续计划探索机器人之间的意图共享,让机器人根据队友的潜在动作提前调整自身行为。

CoMind建立在星尘智能 Lumo 模型及其机器人系统研发基础上。对多机协作而言,信息共享能否减少等待、提升配合质量,需要最终由连续任务中的完成效果来验证。星尘智能已公开相关技术报告及真机演示视频。