EWMBench: 评估具身世界模型中的场景、运动和语义质量

arXiv 25.5 2025 71.3 benchmark, system

TLDR

提出EWMBench基准，评估具身世界模型的场景一致性、运动正确性和语义对齐。

评分理由

The paper addresses a critical gap in evaluating embodied world models by introducing a dedicated benchmark with a curated dataset and multi-dimensional evaluation tools. Strengths include practical utility and public availability, but weaknesses include lack of novel model contributions and limited detail on empirical results in the abstract.

Read-first 评分解释

综合优先阅读分 71.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 40。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：数据集、GitHub

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、数据集、评估、指标

主题相关性 42%

57.1

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

前沿论文方法锚点复现锚点

排序敏感性

稳定性：volatile；排名波动范围：226。

关键词评分

world model

video world model

generative world model

world dynamics prediction

interactive world model

world simulator

model-based reinforcement learning world model

深度分析

创新点

提出EWMBench，一个专门用于评估具身世界模型（EWMs）在视觉场景一致性、运动正确性和语义对齐三个关键方面的基准。
一个精心策划的数据集，包含多样化的场景和运动模式，用于具身AI评估。
一个全面的多维评估工具包，旨在评估和比较候选EWMs。

方法

该方法包括构建一个包含多样化场景和运动模式的精心策划的数据集，并开发一个多维评估工具包，用于测量视觉场景一致性、运动正确性和语义对齐。该基准用于评估和比较现有的视频生成模型作为具身世界模型。

关键结果

该基准识别出现有视频生成模型在满足具身任务独特要求方面的局限性，特别是在物理基础和行为一致性方面，并提供了指导未来发展的见解。

资源

论文代码