DriveGenVLM: 面向基于视觉语言模型的自动驾驶的真实世界视频生成

arXiv 24.8 2024 32.5 method, application

TLDR

DriveGenVLM利用扩散模型生成驾驶视频，并用VLM进行场景理解以增强自动驾驶。

评分理由

The paper integrates video generation with VLMs, using the Waymo dataset and FVD evaluation, which are strengths. However, it lacks novelty and does not explicitly address world models or interactive aspects, limiting its scope.

Read-first 评分解释

综合优先阅读分 32.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 3。

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：数据集、结果

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：数据集

主题相关性 42%

4.3

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

候选论文

排序敏感性

稳定性：volatile；排名波动范围：69。

关键词评分

world dynamics prediction

video world model

world model

world simulator

generative world model

interactive world model

model-based reinforcement learning world model

深度分析

创新点

将视频生成与视觉语言模型（VLM）集成用于自动驾驶
使用去噪扩散概率模型（DDPM）生成真实世界的驾驶视频序列
应用预训练的EILEV模型为生成的驾驶视频提供叙述

方法

DriveGenVLM框架采用去噪扩散概率模型（DDPM）进行视频生成，并在Waymo开放数据集上训练。生成的视频使用弗雷歇视频距离（FVD）评分进行评估。然后使用预训练模型EILEV（高效上下文学习在自我中心视频上的应用）为生成的视频生成相应的叙述。

关键结果

论文报告扩散模型使用FVD评分进行评估以确保质量和真实性，但摘要中未提供具体数值结果。EILEV生成的叙述据称能增强交通场景理解、导航和规划能力。

技术栈

Denoising Diffusion Probabilistic Models (DDPM)Waymo Open DatasetFréchet Video Distance (FVD)EILEVVision Language Models (VLMs)

资源

论文