World4RL：基于扩散世界模型的强化学习策略优化用于机器人操作

arXiv 25.9 2025 69.7 method, system, application

TLDR

提出基于扩散世界模型的高保真模拟器，通过强化学习在想象环境中优化机器人操作策略。

评分理由

The paper presents a novel framework combining diffusion world models with policy refinement, supported by extensive simulation and real-world experiments. Strengths include addressing sim-to-real gap and enabling safe policy optimization; weaknesses may include reliance on pre-trained policies and potential limitations of frozen world models.

Read-first 评分解释

综合优先阅读分 69.7，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 52。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、数据集、实验

主题相关性 42%

74.3

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：数据集、GitHub

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：44。

关键词评分

world model

world simulator

generative world model

model-based reinforcement learning world model

world dynamics prediction

interactive world model

video world model

深度分析

创新点

采用基于扩散世界模型作为高保真模拟器的框架，完全在想象环境中优化机器人操作的预训练策略
在冻结的世界模型内进行直接的端到端策略优化，不同于先前主要将世界模型用于规划的工作
针对机器人操作定制的two-hot动作编码方案
采用扩散骨干网络以提高建模保真度

方法

World4RL在多任务数据集上预训练一个扩散世界模型以捕捉多样动态。然后，它完全在这个冻结的世界模型内使用强化学习优化预训练策略，无需在线真实世界交互。该框架使用two-hot动作编码方案和扩散骨干网络来增强建模保真度。

关键结果

广泛的仿真和真实世界实验表明，World4RL提供了高保真的环境建模，并实现了持续的策略优化，与模仿学习和其他基线相比，成功率显著提高。

局限性

依赖可能次优的预训练策略，可能限制优化质量
由于冻结的世界模型，想象环境与真实环境之间可能存在分布偏移，可能无法泛化到未见过的动态

资源

论文项目