UniWorld: 基于世界模型的自动驾驶预训练

arXiv 23.8 2023 62 method, application

TLDR

UniWorld利用时空世界模型在图像-激光雷达数据上进行无标签预训练，提升运动预测和3D检测等自动驾驶任务。

评分理由

The paper presents a novel pre-training framework based on 4D occupancy prediction, showing clear improvements on nuScenes benchmarks and reducing annotation costs. However, it lacks comparisons to other world model methods and real-world deployment validation.

Read-first 评分解释

综合优先阅读分 62，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 30。

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：代码、数据集、GitHub

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：数据集、指标、结果

近期性 8%

65.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2023

主题相关性 42%

42.9

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

方法锚点复现锚点

排序敏感性

稳定性：volatile；排名波动范围：489。

关键词评分

world model

world dynamics prediction

generative world model

world simulator

video world model

interactive world model

model-based reinforcement learning world model

深度分析

创新点

借鉴占用网格作为机器人世界模型的思想，引入时空世界模型UniWorld
无标签预训练过程，使得可以利用大量图像-激光雷达对
统一预训练框架，预测4D几何占用作为世界模型，并在多个下游任务上微调
能够估计缺失的世界状态信息并预测合理的未来状态

方法

UniWorld首先在基础阶段预测4D几何占用作为世界模型，然后在下游任务上进行微调。预训练过程无需标签，使用大量图像-激光雷达对。该框架在运动预测、多相机3D目标检测和周围语义场景补全任务上进行了评估。

关键结果

在nuScenes数据集上，UniWorld使运动预测的IoU提升1.5%，多相机3D检测的mAP和NDS各提升2.0%，语义场景补全的mIoU提升3%。同时实现了3D训练标注成本降低25%。

技术栈

World Models4D Geometric OccupancyImage-LiDAR FusionnuScenes

资源

论文代码