多模态大语言模型在自动驾驶中的应用综述

WACVW 24 2024 51.3 method

TLDR

关于自动驾驶中多模态大语言模型的综述，涵盖背景、工具、数据集、基准和未来挑战。

评分理由

The paper provides a systematic overview of MLLMs in autonomous driving, including datasets and benchmarks, which is a strength. However, it is a survey without novel experiments or real-world validation, limiting its empirical contribution.

Read-first 评分解释

综合优先阅读分 51.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 8。

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：数据集、GitHub

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、数据集、实验、结果

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

主题相关性 42%

11.4

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

方法锚点复现锚点

排序敏感性

稳定性：volatile；排名波动范围：700。

关键词评分

world model

world simulator

generative world model

interactive world model

video world model

world dynamics prediction

model-based reinforcement learning world model

深度分析

创新点

对多模态大语言模型（MLLMs）在自动驾驶中的系统研究
现有用于驾驶、交通和地图系统的MLLM工具、数据集和基准的概述
第一届WACV自动驾驶大语言与视觉模型研讨会（LLVM-AD）的总结
讨论将MLLMs应用于自动驾驶的关键挑战和未来方向

方法

本文进行了系统的文献综述，涵盖了多模态大语言模型（MLLMs）的背景、利用LLMs开发多模态模型、自动驾驶历史、现有的用于驾驶/交通/地图系统的MLLM工具、数据集和基准，以及第一届WACV自动驾驶大语言与视觉模型研讨会（LLVM-AD）的总结。

关键结果

未呈现实验结果；本文提供了全面的概述，并指出了需要学术界和工业界解决的重要问题。

资源

论文代码