MaskGWM: 一种具有视频掩码重建的泛化驾驶世界模型

CVPR 25 2025 85.8 method, application

TLDR

MaskGWM结合扩散变换器与MAE式掩码重建，实现泛化驾驶世界模型，支持长时域和多视角视频预测。

评分理由

The paper introduces a novel integration of generative diffusion loss and feature-level mask reconstruction to improve generalization and predictive duration in driving world models. Strengths include clear architectural innovations (DiT with spatial-temporal masking) and validation on standard benchmarks. Weaknesses are the narrow focus on driving scenarios and lack of evidence for real-world deployment beyond dataset evaluation.

Read-first 评分解释

综合优先阅读分 85.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 56。

方法质量 25%

100

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、数据集、评估、实验、指标、验证

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：数据集、GitHub

主题相关性 42%

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

前沿论文方法锚点复现锚点

排序敏感性

稳定性：stable；排名波动范围：0。

关键词评分

world model

video world model

generative world model

world dynamics prediction

interactive world model

world simulator

model-based reinforcement learning world model

深度分析

创新点

将生成损失与MAE风格的特征级上下文学习相结合
可扩展的扩散变换器（DiT）结构，训练时增加额外的掩码构建任务
设计扩散相关掩码令牌以处理掩码重建与生成扩散之间的模糊关系
使用行式掩码进行移位自注意力，将掩码构建扩展到时空域，替代MAE中的掩码自注意力
与掩码设计对齐的行式跨视图模块
两个变体：MaskGWM-long用于长时域预测，MaskGWM-mview用于多视角生成

方法

模型采用扩散变换器（DiT）架构，并增加额外的掩码构建任务。引入扩散相关掩码令牌，使用行式掩码进行移位自注意力以将掩码构建扩展到时空域，同时配备行式跨视图模块。在包括Nuscenes、OpenDV-2K和Waymo数据集的标准基准上进行训练和评估，与最先进的驾驶世界模型进行比较。

关键结果

该方法在正常验证（Nuscenes）、长时域展开（OpenDV-2K）和零样本验证（Waymo）数据集上均显著优于最先进的驾驶世界模型。

技术栈

Diffusion Transformer (DiT)MAE-style mask reconstructionRow-wise mask for shifted self-attentionRow-wise cross-view moduleNuscenes datasetOpenDV-2K datasetWaymo dataset

资源

论文代码