GEM：一种可泛化的自我视觉多模态世界模型，用于细粒度自我运动、物体动态和场景组成控制

CVPR 25 2025 71.3 method, benchmark, application

TLDR

GEM是一种多模态世界模型，利用大规模真实数据集实现可控的未来帧预测，包括自我运动、物体动态和人体姿态控制。

评分理由

The paper presents a novel world model with fine-grained control and long-horizon generation, supported by a large multimodal dataset and a new controllability metric. However, reliance on pseudo-labels and lack of explicit comparison to baselines may limit validation of its generalizability.

Read-first 评分解释

综合优先阅读分 71.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 53。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：数据集、评估、实验、指标

主题相关性 42%

75.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码、数据集、GitHub

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：38。

关键词评分

world model

generative world model

video world model

world dynamics prediction

world simulator

interactive world model

model-based reinforcement learning world model

深度分析

创新点

利用参考帧、稀疏特征、人体姿态和自我轨迹预测未来帧，实现对物体动态、自我代理运动和人体姿态的细粒度控制
生成配对的RGB和深度输出，以增强空间理解
引入自回归噪声调度，实现稳定的长时程生成
提出新的物体操控控制（COM）指标以评估可控性
构建超过4000小时的大规模多模态数据集，涵盖自动驾驶、自我中心人类活动和无人机飞行

方法

GEM是一种多模态世界模型，以参考帧、稀疏特征、人体姿态和自我轨迹作为输入来预测未来帧。它使用自回归噪声调度生成配对的RGB和深度输出，以实现稳定的长时程生成。该模型在超过4000小时的多模态数据上训练，数据使用伪标签标注深度、自我轨迹和人体姿态，并通过包括COM指标在内的综合框架进行评估。

关键结果

实验表明，GEM在生成多样化、可控场景方面表现出色，并在长时间生成中保持时间一致性。

资源

论文项目