⌁ Awesome World Model Hub 论文 · 数据集 · 项目
← 返回论文列表

HappyWorld-Bench:评估世界模型在交互下可靠性的综合基准

arXiv 2026 44.6 benchmark

TLDR

提出HappyWorld-Bench基准,含三轨道1138视频提示、300空间场景、254具身用例,评估世界模型的生成、交互与一致性。

评分理由

The paper provides a comprehensive evaluation framework with hierarchical capabilities, multiple tracks, human A/B comparisons, and automated metrics across many models. Weaknesses are not visible from abstract alone, but the benchmark's reliance on human comparisons may limit scalability.

Read-first 评分解释

综合优先阅读分 44.6,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 58。

近期性 5%
100

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2026

方法质量 15%
90

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:基准、评估、指标、结果

主题相关性 25%
82.9

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 15%
30

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:无

图谱声望 15%
5.7

基于可用 OpenAlex 引用关系构建局部引用图,并计算 PageRank 风格的图谱声望。 局部 PageRank:0.0016

引用影响力 15%
0

使用 OpenAlex 形态的引用元数据作为文献关注度信号,并与论文本身质量分开处理。 引用数:0

引用速度 10%
0

引用速度按发表年限估算年均引用,降低旧论文天然占优的偏差。 年均引用:0.00

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性:volatile;排名波动范围:681。

关键词评分

world model
10
video world model
10
generative world model
9
interactive world model
9
world simulator
8
world dynamics prediction
7
model-based reinforcement learning world model
5

深度分析

创新点

  • 提出 HappyWorld-Bench,一个综合基准,用于评估生成世界在探索、交互和修改下是否保持可靠。
  • 提出六种世界能力(W1-W6)的层次化能力框架,涵盖从生成式构建到统一世界建模。
  • 将该框架实例化为三个独立评估轨道:视频世界模型、空间世界模型和具身世界模型。
  • 构建并运行 HappyWorld-Arena,组织人类 A/B 比较并得出模型级 Elo 评分,辅以新设计的用于捕获行为正确性的自动评估指标。

方法

HappyWorld-Bench 包含 1,138 个视频提示、300 个空间场景和 254 个具身测试用例,并按照 W1-W6 层次化框架组织。它在三个轨道上评估 14 个视频世界模型、9 个空间系统和 8 个具身候选模型。HappyWorld-Arena 中的人类 A/B 比较产生 Elo 评分,同时新设计的自动评估指标捕获行为正确性。

关键结果

视频世界模型在长时间展开和重访时一致性下降;空间模型的最佳放置准确率为 70.14%,编辑执行率为 73.33%;具身模型难以在多步动作中保持状态,并且难以对改变后的动作条件和物理规则做出精确响应。

局限性

  • 摘要中未明确说明该基准或研究本身的局限性。

标签