PROWL：优先遗憾驱动的世界模型学习优化

arXiv 2026 61.6 method

TLDR

PROWL使用对抗性课程和优先回放来提高视频世界模型在罕见高影响转换上的鲁棒性。

评分理由

The paper introduces a novel adversarial training loop for world models, combining a KL-constrained policy to expose failures and a prioritized buffer to focus on unresolved weaknesses. Strengths include a clear methodology and empirical evaluation in MineRL, but limitations include reliance on a specific simulation environment and potential sensitivity to behavioral constraints.

Read-first 评分解释

综合优先阅读分 61.6，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 57。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

引用影响力 18%

81.9

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.81948681

主题相关性 29%

81.4

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：数据集、结果

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：数据集

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

基础论文前沿论文桥接论文

排序敏感性

稳定性：volatile；排名波动范围：481。

关键词评分

world model

video world model

world dynamics prediction

generative world model

interactive world model

model-based reinforcement learning world model

world simulator

深度分析

创新点

KL约束的对抗性课程，训练一个策略来暴露基于扩散的世界模型的高误差轨迹，同时保持接近行为分布
优先对抗轨迹（PAT）缓冲区，根据预测误差、动作保真度和学习进度重新排序轨迹，以聚焦训练于未解决的失败模式

方法

该方法引入了一个KL约束的对抗性课程，其中训练一个策略来发现基于扩散的世界模型的高误差轨迹，同时保持接近行为分布。世界模型在这些对抗性发现的轨迹上持续微调，形成一个对抗性训练循环。优先对抗轨迹（PAT）缓冲区使用预测误差、动作保真度和学习进度重新排序轨迹，以保持对未解决弱点的压力。

关键结果

PROWL在MineRL框架中，在保留的分布外轨迹上，比仅使用被动数据训练的模型提高了鲁棒性，揭示了在弱行为约束下的奖励黑客行为，并表明有效的对抗性世界模型训练关键取决于平衡探索性失败发现与显式行为正则化。

资源

论文