HoloDrive: 面向自动驾驶的全方位2D-3D多模态街景生成

arXiv 24.12 2024 37.9 method, application

TLDR

HoloDrive通过2D-3D变换和时间预测联合生成自动驾驶的相机图像和LiDAR点云。

评分理由

The paper introduces a novel framework for multi-modal street scene generation, addressing a gap in joint 2D-3D generation. Strengths include the use of BEV-to-Camera and Camera-to-BEV transforms and depth disambiguation. Weaknesses are that it focuses only on generation metrics and does not explicitly claim to be a world model, limiting relevance to the specified keywords.

Read-first 评分解释

综合优先阅读分 37.9，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 7。

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、实验、指标、结果

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

主题相关性 42%

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

方法锚点

排序敏感性

稳定性：volatile；排名波动范围：178。

关键词评分

generative world model

world model

video world model

world dynamics prediction

world simulator

interactive world model

model-based reinforcement learning world model

深度分析

创新点

面向自动驾驶的相机图像和LiDAR点云的联合2D-3D多模态生成
异构生成模型之间的BEV到相机和相机到BEV变换模块
2D生成模型中的深度预测分支，用于消除从图像空间到BEV空间反投影的歧义
通过时间结构和渐进训练扩展到未来预测

方法

HoloDrive采用BEV到相机和相机到BEV变换模块来桥接异构生成模型，实现相机图像和LiDAR点云的联合生成。在2D生成模型中引入深度预测分支，以解决从图像空间反投影到BEV空间时的歧义。通过添加时间结构和精心设计的渐进训练，将框架扩展到未来预测。

关键结果

在单帧生成和世界模型基准上的实验表明，HoloDrive在生成指标上显著优于现有最先进方法。

技术栈

BEVCameraLiDARDepth PredictionTemporal StructureProgressive Training

资源

论文