DreamDojo: 来自大规模人类视频的通用机器人世界模型

arXiv 26.2 2026 70.7 method

TLDR

DreamDojo是一个基于44,000小时人类视频训练的基础世界模型，通过潜在动作和实时模拟实现灵巧机器人控制。

评分理由

The paper introduces a large-scale pretraining approach using human videos to learn world dynamics, with a novel continuous latent action mechanism to handle missing action labels. Strengths include the scale of data and real-time distillation, but weaknesses are the reliance on post-training on small robot datasets and limited evaluation details in the abstract.

Read-first 评分解释

综合优先阅读分 70.7，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 56。

近期性 8%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

主题相关性 42%

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、数据集、评估

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：数据集、GitHub

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：102。

关键词评分

world model

generative world model

world dynamics prediction

world simulator

interactive world model

video world model

model-based reinforcement learning world model

深度分析

创新点

从44,000小时的自我中心人类视频中学习多样化的交互和灵巧控制，这是用于世界模型预训练的最大视频数据集
引入连续潜在动作作为统一的代理动作，以解决动作标签稀缺的问题，并增强从无标签视频中的交互知识迁移
设计了一个蒸馏流程，将DreamDojo加速到10.81 FPS的实时速度，并改善了上下文一致性
实现了基于生成世界模型的应用，如实时遥操作、策略评估和基于模型的规划

方法

DreamDojo是一个基础世界模型，在44,000小时的自我中心人类视频上预训练，涵盖多样的日常场景。它使用连续潜在动作作为代理动作，从无标签视频中迁移交互知识，然后在小规模目标机器人数据上进行后训练。采用蒸馏流程实现10.81 FPS的实时推理。

关键结果

后训练后，DreamDojo展示了强大的物理理解和精确的动作可控性，蒸馏流程实现了10.81 FPS的实时速度。在多个具有挑战性的分布外基准上的系统评估验证了其在模拟开放世界、接触密集型任务方面的重要性。

技术栈

Egocentric video dataset (44k hours)Continuous latent actionsDistillation pipelineWorld model pretraining

资源

论文项目