OccWorld: 学习用于自动驾驶的3D占用世界模型

ECCV 24 2024 64.8 method, application

TLDR

OccWorld学习3D占用世界模型，用类GPT Transformer预测场景演变和自车轨迹。

评分理由

The paper introduces a novel framework using 3D occupancy for world modeling, which is more expressive and efficient than bounding boxes. Strengths include strong empirical results on nuScenes and no need for instance/map supervision. Weaknesses are the narrow focus on autonomous driving and lack of interactive or reinforcement learning components.

Read-first 评分解释

综合优先阅读分 64.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 35。

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：代码、GitHub

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、实验、结果

主题相关性 42%

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

方法锚点复现锚点

排序敏感性

稳定性：volatile；排名波动范围：383。

关键词评分

world model

world dynamics prediction

generative world model

world simulator

video world model

model-based reinforcement learning world model

interactive world model

深度分析

创新点

在3D占用空间中学习用于自动驾驶的世界模型，能够同时预测自车运动和场景演变。
基于重建的场景分词器，在3D占用上获取离散场景令牌以进行世界建模。
类GPT的时空生成Transformer，生成未来场景和自车令牌，解码未来占用和自车轨迹。
无需实例和地图监督即可获得有竞争力的规划结果。

方法

OccWorld基于3D占用而非3D边界框或分割图学习世界模型。它首先在3D占用上训练一个基于重建的场景分词器以生成离散场景令牌，然后采用类GPT的时空生成Transformer预测后续场景和自车令牌，这些令牌被解码为未来占用和自车轨迹。该模型在nuScenes基准上进行评估。

关键结果

在nuScenes上的实验表明，OccWorld有效建模了驾驶场景的演变，并在不依赖实例或地图监督的情况下取得了有竞争力的规划结果。

资源

论文代码