HappyWorld-Bench:评估世界模型在交互下可靠性的综合基准
TLDR
提出HappyWorld-Bench基准,含三轨道1138视频提示、300空间场景、254具身用例,评估世界模型的生成、交互与一致性。
评分理由
The paper provides a comprehensive evaluation framework with hierarchical capabilities, multiple tracks, human A/B comparisons, and automated metrics across many models. Weaknesses are not visible from abstract alone, but the benchmark's reliance on human comparisons may limit scalability.
Read-first 评分解释
综合优先阅读分 44.6,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 58。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性:volatile;排名波动范围:681。
关键词评分
深度分析
创新点
- 提出 HappyWorld-Bench,一个综合基准,用于评估生成世界在探索、交互和修改下是否保持可靠。
- 提出六种世界能力(W1-W6)的层次化能力框架,涵盖从生成式构建到统一世界建模。
- 将该框架实例化为三个独立评估轨道:视频世界模型、空间世界模型和具身世界模型。
- 构建并运行 HappyWorld-Arena,组织人类 A/B 比较并得出模型级 Elo 评分,辅以新设计的用于捕获行为正确性的自动评估指标。
方法
HappyWorld-Bench 包含 1,138 个视频提示、300 个空间场景和 254 个具身测试用例,并按照 W1-W6 层次化框架组织。它在三个轨道上评估 14 个视频世界模型、9 个空间系统和 8 个具身候选模型。HappyWorld-Arena 中的人类 A/B 比较产生 Elo 评分,同时新设计的自动评估指标捕获行为正确性。
关键结果
视频世界模型在长时间展开和重访时一致性下降;空间模型的最佳放置准确率为 70.14%,编辑执行率为 73.33%;具身模型难以在多步动作中保持状态,并且难以对改变后的动作条件和物理规则做出精确响应。
局限性
- 摘要中未明确说明该基准或研究本身的局限性。