基于逆奖励的强化学习用于世界模型后训练

arXiv 2025 61.1 method

TLDR

提出RLIR，利用逆动力学模型生成逆奖励，提升视频世界模型的动作跟随能力，实现5-10%性能提升。

评分理由

The paper addresses a clear gap in world model post-training with a novel reward formulation, showing empirical gains across paradigms. However, the abstract lacks details on baselines, datasets, and limitations, and the reliance on inverse dynamics may introduce biases.

Read-first 评分解释

综合优先阅读分 61.1，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 57。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

主题相关性 42%

81.4

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：实验

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文

排序敏感性

稳定性：volatile；排名波动范围：536。

关键词评分

world model

video world model

generative world model

interactive world model

world simulator

world dynamics prediction

model-based reinforcement learning world model

深度分析

创新点

提出RLIR，一种后训练框架，使用逆动力学模型从生成的视频中恢复输入动作，无需大规模偏好标注或基于规则的验证器即可产生可验证的奖励信号。
首个专门设计用于增强视频世界模型动作跟随的后训练方法。
将高维视频模态映射到低维动作空间以获得客观奖励，通过组相对策略优化实现强化学习优化。

方法

RLIR对预训练的世界模型进行后训练，首先生成动作序列对应的视频，然后使用逆动力学模型从视频中预测动作。预测动作与真实动作之间的相似度作为奖励，并通过组相对策略优化进行优化。该方法适用于自回归和扩散世界模型范式。

关键结果

与现有方法相比，动作跟随准确率提升5-10%，视觉质量提升高达10%，并获得更高的人类偏好评分。

资源

论文