当前世界模型缺乏持久状态核心
TLDR
本文提出WRBench基准,测试世界模型在未被观测时是否维持持久状态,发现当前模型在遮挡期间无法推进事件演化。
评分理由
Strengths: novel benchmark, systematic evaluation across 23 models and 9600 videos, identifies a fundamental limitation. Weaknesses: no real-world validation, limited to synthetic video models.
Read-first 评分解释
综合优先阅读分 64.7,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 54。
研究版图角色
基础论文前沿论文桥接论文方法锚点
排序敏感性
稳定性:volatile;排名波动范围:429。
关键词评分
深度分析
创新点
- WRBench:首个针对世界模型持久状态核心的系统性诊断基准
- 将相机运动视为可观测性干预的评估链
- 识别出当前世界模型缺乏持久状态核心,会恢复被遗弃的状态
方法
WRBench是一个诊断基准,将相机运动视为对可观测性的干预。它通过一个人工校准的链式评估来评价世界模型:相机是否执行了请求的交互,场景在视野内是否保持连续和可识别,以及返回的目标是否与已启动的事件保持一致。该基准使用了来自4种控制范式下23个模型的9,600个视频。
关键结果
在所有23个模型和4种控制范式中,当前世界模型在未被观测时无法推进世界状态;它们将返回的目标恢复到被遗弃时的状态,而不是在不可见时推进事件演化。
局限性
- 该基准未提出实现持久状态核心的方法。
- 研究仅限于评估现有模型;未引入新模型或训练范式。