Doe-1: 基于大世界模型的闭环自动驾驶

arXiv 24.12 2024 69.9 method, application

TLDR

Doe-1是一个使用大世界模型的闭环自动驾驶框架，通过下一令牌生成统一感知、预测和规划。

评分理由

Strengths include a novel unified formulation as next-token generation and multi-modal tokens for closed-loop driving. Weaknesses are limited evaluation to the nuScenes dataset and lack of real-world deployment or comparison to state-of-the-art in the abstract.

Read-first 评分解释

综合优先阅读分 69.9，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 46。

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：代码、数据集、GitHub

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

主题相关性 42%

65.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：数据集、实验

研究版图角色

复现锚点

排序敏感性

稳定性：volatile；排名波动范围：127。

关键词评分

world model

world dynamics prediction

video world model

generative world model

interactive world model

world simulator

model-based reinforcement learning world model

深度分析

创新点

使用大世界模型（Doe-1）的闭环自动驾驶框架，统一感知、预测和规划。
将自动驾驶形式化为多模态令牌的下一令牌生成问题。
使用自由形式文本（场景描述）进行感知，并直接在RGB空间中用图像令牌生成未来预测。
使用位置感知分词器将动作编码为离散令牌用于规划。
端到端多模态Transformer，自回归生成感知、预测和规划令牌。

方法

Doe-1使用在nuScenes数据集上训练的多模态Transformer。它将感知令牌化为自由形式文本，预测令牌化为RGB图像令牌，并通过位置感知分词器进行规划，然后以统一的端到端方式自回归生成这些令牌。

关键结果

在nuScenes上的实验证明了在视觉问答、动作条件视频生成和运动规划方面的有效性。

技术栈

Multi-modal TransformernuScenes datasetPosition-aware tokenizer

资源

论文代码