ADriver-I: 一种用于自动驾驶的通用世界模型

arXiv 23.9 2023 73.3 method, application

TLDR

ADriver-I是一种通用自动驾驶世界模型，利用交错视觉-动作对、MLLM和扩散模型预测控制信号和未来帧。

评分理由

The paper introduces a novel world model that unifies perception and control via vision-action pairs, demonstrating strong empirical results on nuScenes and private datasets. However, the abstract lacks details on limitations, baseline comparisons, and ablation studies, and the reliance on private datasets may hinder reproducibility.

Read-first 评分解释

综合优先阅读分 73.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 56。

方法质量 25%

100

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、数据集、评估、实验、指标、结果

主题相关性 42%

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

近期性 8%

65.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2023

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：数据集

研究版图角色

方法锚点

排序敏感性

稳定性：volatile；排名波动范围：82。

关键词评分

world model

generative world model

world dynamics prediction

interactive world model

video world model

world simulator

model-based reinforcement learning world model

深度分析

创新点

引入交错视觉-动作对以统一视觉特征和控制信号
构建结合MLLM和扩散模型的通用自动驾驶世界模型
自回归预测控制信号和未来帧，实现在自创世界中驾驶

方法

ADriver-I使用交错视觉-动作对作为多模态大语言模型（MLLM）和扩散模型的输入。它自回归地预测当前帧的控制信号，然后以历史视觉-动作对和生成的控制为条件预测未来帧。该过程无限重复，使模型能够在自身生成的世界中驾驶。

关键结果

在nuScenes和大规模私有数据集上的实验表明，与几个构建的基线相比，ADriver-I取得了令人印象深刻的性能。

局限性

摘要中未报告定量结果或具体指标
评估依赖于私有数据集，限制了可重复性
仅与构建的基线进行比较，未与最先进的模块化或端到端系统比较
长时间跨度自回归循环中潜在的误差累积

技术栈

MLLMDiffusion ModelVision-action pairsAutoregressive predictionnuScenes

资源

论文