WorldCycle: 面向长程视频世界模型的自验证强化学习
TLDR
WorldCycle利用可逆动作循环为强化学习提供自监督奖励，减少长程视频世界模型中的漂移。
评分理由
Strengths include a novel self-verification mechanism using action cycles and strong empirical gains (44% drift reduction, 4x accuracy). Weaknesses are the reliance on reversible cycles, which may limit generality, and limited discussion of limitations.
Read-first 评分解释
综合优先阅读分 36.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 55。
研究版图角色
前沿论文
排序敏感性
稳定性：volatile；排名波动范围：352。
关键词评分
深度分析
创新点
- 可逆动作循环作为自验证：利用由逆操作组成的序列必须解析地返回初始状态的原理，提供长程正确性的无标注监督。
- WorldCycle自验证强化学习框架，从普通动作序列中构建闭环动作循环及其重复执行，优化两个互补奖励：空间闭合奖励（强制镜像前向和反向段之间的对称性）和时间一致性奖励（对齐重复循环执行中的状态）。
- CycleBench，一个用于评估复杂动作结构下状态返回能力的诊断基准。
方法
WorldCycle从普通动作序列中构建闭环动作循环（前向和反向段）以及重复循环执行。然后使用强化学习，结合空间闭合奖励（强制前向和反向状态之间的对称性）和时间一致性奖励（对齐重复执行中的状态），迫使模型将动作学习为一致的状态算子，并泛化到分布外复合循环。
关键结果
WorldCycle将状态返回漂移减少高达44%，并将复合动作准确性提升近4倍于基础模型。