Grounded-Dreamer: 基于具有物理基础的世界模型合成数据的机器人学习
TLDR
Grounded-Dreamer用视频世界模型与物理仿真合成物理可信的机器人操作数据，无需人工示教即可训练真实策略。
评分理由
The paper offers a compelling combination of generative video realism and physical simulation for scalable robot data generation, with a clear filtering step for physically plausible rollouts and real-world validation. However, the abstract is truncated and lacks explicit comparisons or quantitative results, making it hard to assess robustness and generalizability.
Read-first 评分解释
综合优先阅读分 34.6，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 47。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：370。
关键词评分
深度分析
创新点
- 提出了Grounded-Dreamer框架，利用视频世界模型合成具有物理基础的机器人操作数据，同时避免人类遥操作演示。
- 将生成式视频模型与仿真器物理引擎相结合，同时实现视觉真实感和物理有效性。
- 从少量真实机器人任务初始状态图像中自动重建任务相关物体和相机几何结构，并在仿真中对其对齐，以收集物理有效的轨迹。
- 使用仿真轨迹对视频世界模型和逆动力学模型进行后训练，从而能够从真实图像生成视觉逼真的机器人操作视频及相应的机器人动作。
- 通过在重建仿真中重放生成轨迹并仅保留成功完成任务的结果，过滤物理上不合理的生成内容。
- 完全基于有物理基础的合成轨迹训练真实世界机器人策略，无需任何人类演示或遥操作。
方法
从少量真实机器人任务初始状态图像出发，Grounded-Dreamer重建任务相关物体和相机几何结构，并在物理仿真器中对其对齐以收集物理有效轨迹。这些轨迹用于后训练视频世界模型和逆动力学模型，从而能够从真实图像生成视觉逼真的操作视频及相应动作。生成的轨迹在重建仿真中被重放，以过滤掉未成功完成任务的样本，最终仅使用筛选出的有物理基础的合成轨迹训练真实世界策略。
关键结果
真实世界任务的实验结果表明，Grounded-Dreamer能够合成具有物理基础的数据，并在无需人类遥操作的情况下显著促进策略学习。