VaViM与VaVAM：通过视频生成建模实现自动驾驶

arXiv 25.2 2025 63.5 method, system, application

TLDR

介绍用于自动驾驶的开源自回归视频模型VaViM和VaVAM，展示视频预训练可迁移至真实驾驶。

评分理由

The paper presents a clear, simple architecture and provides open-source code, which are strengths. However, it focuses narrowly on driving and does not claim a general world model, limiting the relevance of some keywords. The evaluation includes real-world driving scenarios, supporting 'has_real_world'.

Read-first 评分解释

综合优先阅读分 63.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 21。

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：分析、数据集、评估、指标

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：代码、数据集、GitHub

主题相关性 42%

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

前沿论文方法锚点复现锚点

排序敏感性

稳定性：volatile；排名波动范围：720。

关键词评分

video world model

world dynamics prediction

world model

world simulator

generative world model

model-based reinforcement learning world model

interactive world model

深度分析

创新点

用于自动驾驶的开源自回归视频模型（VaViM），通过时空令牌序列预测帧
视频动作模型（VaVAM），利用VaViM学习到的表示通过模仿学习生成驾驶轨迹
从视频生成到驾驶动作的完整感知-动作流水线
研究视频预训练如何在开环和闭环场景中迁移至真实驾驶

方法

VaViM是一个自回归视频模型，通过对时空令牌序列建模来预测未来帧。VaVAM利用VaViM学习到的表示进行模仿学习以生成驾驶轨迹。模型在开环和闭环驾驶场景中均进行了评估，并分析了扩展效应和安全指标。

关键结果

基于视频的预训练显示出在自动驾驶中的潜力，学习到的表示具有语义丰富性。观察到视频合成的扩展益处，但模型大小、数据与安全指标在闭环评估中的关系复杂且尚未完全解决。

局限性

模型大小、数据与安全指标在闭环评估中的关系复杂且尚未完全理解
评估仅限于驾驶场景；未展示对其他自主任务的泛化能力
摘要未指定数据集或评估环境，限制了可重复性评估
视频动作模型依赖于模仿学习，可能无法处理真实驾驶中的所有边缘情况

资源

论文代码