WAM-RL: 基于重建奖励和在线视频SFT的世界-动作模型强化学习

arXiv 2026 53.3 method

TLDR

WAM-RL引入强化学习，在线联合优化世界与动作模型，提升长时域任务。

评分理由

The paper's strength lies in being the first to apply RL to the World-Action paradigm and demonstrating that joint optimization of world and action models is critical for long-horizon tasks. However, the abstract lacks explicit mention of real-world experiments or benchmarks, and the evaluation appears limited to simulated environments, which weakens the claim of real-world applicability.

Read-first 评分解释

综合优先阅读分 53.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 39。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

引用影响力 18%

95.7

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.95719768

主题相关性 29%

55.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：实验

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

基础论文前沿论文桥接论文

排序敏感性

稳定性：volatile；排名波动范围：477。

关键词评分

world model

model-based reinforcement learning world model

interactive world model

world dynamics prediction

generative world model

world simulator

video world model

深度分析

创新点

首次将强化学习引入World-Action范式
通过在线交互联合优化世界模型和动作模型
分层优化方法协调世界模型与动作模型的改进
用于强化学习训练的重构奖励
作为框架一部分的在线视频监督微调(SFT)

方法

WAM-RL是一个强化学习框架，通过与环境在线交互联合优化世界模型和动作模型。它采用分层优化策略协调两个组件的共同进化，使用重构奖励和在线视频SFT。该方法在短时域和长时域任务上进行了评估，比较了仅优化动作模型与联合优化的效果。

关键结果

仅优化动作模型可提升短时域任务性能，但在长时域任务上效果不佳；而联合优化世界模型和动作模型对于在长时域设置中取得优异性能至关重要。

资源

论文