大晓机器人联合南洋理工大学发布可交互世界模型 Mundo

10 月 30 日，大晓机器人联合南洋理工大学 S-Lab 发布最新成果 Mundo。这一面向具体环境构建的世界模型，可将少量图像或视频转化为可探索、可交互的三维场景，并支持机器人导航与操作训练。

Mundo 将三维场景表示、物理仿真与视频生成结合起来，并结合 Astra 构建空间理解能力。系统从影像中识别场景和物体，建立三维代理，再通过代码编辑物体的位置、属性和动作。物理引擎计算物体运动、接触和碰撞，视频模型参考输入影像生成相应画面，形成从场景重建到交互模拟的流程。

Mundo 可使用 1 至 12 张图像建立室内空间，并根据指定的相机路径生成新视角。同一组图像可以支持多条探索路径，例如从办公桌移动到窗边，或从住宅庭院进入室内。对于影像中没有直接呈现的区域，模型会结合已有空间结构进行推断。增加参考视图，则可以为场景补充更多真实依据。

图丨办公室场景重建与视角生成

面对更大的环境，Mundo 可使用数十张上下文图像，连续生成数十秒至分钟级的探索画面。系统沿同一个三维代理分段生成视频，为每一段选取相关参考图像，并通过重叠画面衔接前后片段，让不同片段共享一致的空间依据。Mundo 也支持从单张图像或画作出发构建可探索场景。

图丨住宅场景探索

Mundo 构建的场景能够响应操作。用户可以通过代码设置物体的名称、尺寸、位置、质量和摩擦等属性，再定义动作或施加外力。物理引擎计算物体在重力和接触约束下的变化，输出运动轨迹、接触位置和碰撞力等状态；系统再结合环境影像呈现交互结果。

图丨场景代码与物理模拟

用户可以在场景中推动显示器、拖动垃圾桶或打开抽屉，也可以调整物体材料和重力条件，观察不同设定带来的变化。不同质量的球体从相同高度落下，会呈现不同的弹跳和碰撞结果，相关物理状态也同步显示在画面中。

图丨不同质量球体的碰撞模拟

基于同一套场景，Mundo 还支持机器人导航与操作。导航任务中，三维代理提供物体类别、位置、障碍物和可通行区域等信息，路径规划器据此生成路线，并呈现机器人沿途的第一人称或第三人称画面。

图丨机器人场景导航

操作任务中，机器人可以在同一环境里尝试将苹果放入碗中、把罐子放上托盘或堆叠积木。系统同步生成外部视角、头部和腕部相机视角，并记录任务轨迹与物理状态，供研究人员分析和比较策略。

图丨机器人抓取苹果模拟

Mundo 还支持从新视角观察动态事件。研究人员可以在选定时刻暂停模拟并移动相机，从不同角度查看同一瞬间，检查动作细节和遮挡关系。在酒店场景中，团队已使用 Mundo 重建楼层与洗衣区域，为导航提供空间和语义信息，并模拟洗衣机开门等交互。

在大晓机器人以 Kairos 为核心的世界模型技术体系中，Mundo 补充了具体环境建模、训练数据生成与仿真训练能力。通过将现场影像转化为可编辑、可交互的三维环境，Mundo 为机器人开展场景适配、导航和操作训练提供支持。