Copilot4D: 通过离散扩散学习自动驾驶的无监督世界模型

ICLR 24 2024 62.8 method

TLDR

Copilot4D使用VQVAE分词和离散扩散学习自动驾驶的无监督世界模型，在点云预测上取得显著改进。

评分理由

The paper presents a novel combination of VQVAE and discrete diffusion for world modeling, with strong empirical results on multiple real-world datasets. However, it focuses on point cloud observations and short-term prediction, and lacks explicit interaction or reinforcement learning components.

Read-first 评分解释

综合优先阅读分 62.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 42。

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：数据集、指标、结果

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

主题相关性 42%

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码、数据集

研究版图角色

方法锚点

排序敏感性

稳定性：volatile；排名波动范围：116。

关键词评分

world model

generative world model

world dynamics prediction

world simulator

model-based reinforcement learning world model

video world model

interactive world model

深度分析

创新点

使用VQVAE对传感器观测进行分词，用于自动驾驶的世界建模
将掩码生成图像Transformer重新定义为离散扩散，并通过增强实现高效并行解码
在多个数据集上，与先前最先进方法相比，Chamfer距离显著减少（1秒超过65%，3秒超过50%）
证明对分词后的智能体经验进行离散扩散可以释放类似GPT的无监督学习在机器人学中的潜力

方法

Copilot4D首先使用VQVAE对传感器观测（点云）进行分词，然后将未来预测建模为离散扩散过程。它将掩码生成图像Transformer重新定义为离散扩散，并引入简单增强以提高效率。该模型在NuScenes、KITTI Odometry和Argoverse2数据集上进行训练和评估，使用Chamfer距离作为1秒和3秒预测范围的指标。

关键结果

Copilot4D在NuScenes、KITTI Odometry和Argoverse2数据集上，将先前最先进的Chamfer距离减少了超过65%（1秒预测）和超过50%（3秒预测）。

局限性

仅在点云观测上评估，未涉及其他传感器模态如摄像头或雷达。
预测范围仅限于1秒和3秒，未评估长期预测性能。

技术栈

VQVAEDiscrete DiffusionMasked Generative Image TransformerPoint Cloud ProcessingChamfer DistanceNuScenesKITTI OdometryArgoverse2

资源

论文