GrndCtrl：通过自监督奖励对齐实现世界模型的空间基础化

arXiv 25.12 2025 67.5 method

TLDR

GrndCtrl通过GRPO将预训练视频世界模型与几何奖励对齐，提升户外环境的空间一致性和导航稳定性。

评分理由

The paper introduces a novel self-supervised reward alignment framework (RLWG) to address geometric grounding in video world models, a key limitation for navigation tasks. Strengths include a clear methodology using GRPO and multiple geometric rewards, but the evaluation is limited to outdoor environments without explicit real-world benchmarks, and the abstract lacks details on dataset scale or comparisons.

Read-first 评分解释

综合优先阅读分 67.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 55。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、评估、指标

主题相关性 42%

78.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：165。

关键词评分

world model

video world model

generative world model

world dynamics prediction

model-based reinforcement learning world model

world simulator

interactive world model

深度分析

创新点

带世界基础化的强化学习（RLWG），一种自监督后训练框架，用于将预训练的世界模型与物理可验证结构对齐
GrndCtrl，一种使用组相对策略优化（GRPO）实现几何和感知基础化的奖励对齐适应方法
使用多种可验证奖励（位姿循环一致性、深度重投影、时间一致性），类似于语言模型中的RLVR

方法

RLWG通过强化学习，利用几何和感知奖励（位姿循环一致性、深度重投影、时间一致性）对预训练的视频世界模型进行后训练。GrndCtrl实例采用组相对策略优化（GRPO）来适应模型，类似于大语言模型中的可验证反馈强化学习。在户外具身导航任务上进行评估，并与监督微调基线进行比较。

关键结果

GrndCtrl在户外环境中实现了优于监督微调的空间一致性和导航稳定性，表明可验证奖励对齐弥合了生成式预训练与基础行为之间的差距。

局限性

摘要未明确说明局限性；潜在问题包括依赖精心设计的可验证奖励，这些奖励可能无法泛化到所有环境或任务
该方法仅在户外导航中验证了有效性，室内或动态场景尚未涉及
多奖励后训练可能引入计算开销和对奖励权重的敏感性

资源

论文