WorldOdysseyBench:面向交互式世界模型长时程稳定性的开放世界基准测试
TLDR
提出WorldOdysseyBench,评估交互式世界模型在动作、视觉、物理和记忆维度的长时程稳定性。
评分理由
Strengths include a comprehensive multi-dimensional benchmark with novel metrics and diverse real-world scenes; weaknesses are that the abstract does not detail specific model failures or limitations beyond moderate scores.
Read-first 评分解释
综合优先阅读分 39.9,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 39。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性:volatile;排名波动范围:220。
关键词评分
深度分析
创新点
- 逐帧动作度量,绕过跨模型语义尺度差异,揭示轨迹层面隐藏的失败
- 基于片段的漂移度量,捕捉起点与终点比较遗漏的非单调中期序列崩溃
- 基于可控性门控的评估,涵盖力学、光学和3D一致性,在忠实动作执行下对合理性进行评分
- 动作解耦记忆协议,通过过渡局部化3D点云重建评估场景记忆,通过跟踪加VLM推理评估主体记忆
方法
WorldOdysseyBench是一个包含600多个测试用例的基准测试,涵盖自然、城市和室内场景,第一/第三人称视角,WASD连续交互10-60秒。它在动作、视觉、物理和记忆四个维度上使用定制度量和协议评估交互式世界模型,并测试了10多个开源和闭源模型。
关键结果
没有评估的模型能可靠满足所有四个维度;即使最佳模型也仅获得中等分数。