OccLLaMA：一种用于自动驾驶的占用-语言-动作生成世界模型

arXiv 24.9 2024 56.1 method, application

TLDR

OccLLaMA通过语义占用自回归生成世界模型统一视觉、语言和动作。

评分理由

The paper introduces a novel approach that integrates occupancy, language, and action into a generative world model, demonstrating strong empirical results across multiple tasks. However, the abstract lacks details on limitations and comparisons to baselines, and the claimed 'world model' may not fully capture interactive dynamics.

Read-first 评分解释

综合优先阅读分 56.1，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 46。

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

主题相关性 42%

65.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：实验

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

候选论文

排序敏感性

稳定性：volatile；排名波动范围：322。

关键词评分

world model

generative world model

world dynamics prediction

world simulator

interactive world model

video world model

model-based reinforcement learning world model

深度分析

创新点

使用语义占用作为自动驾驶的通用视觉表示
通过自回归模型统一视觉-语言-动作（VLA）模态
引入一种新颖的类VQVAE场景分词器，高效离散化和重建语义占用场景，同时处理稀疏性和类别不平衡
增强LLaMA以在统一多模态词汇表上进行下一个令牌/场景预测，用于多个自动驾驶任务

方法

OccLLaMA提出了一种生成世界模型，使用语义占用作为统一视觉表示。它构建了涵盖视觉、语言和动作的多模态词汇表，并增强了LLaMA架构以执行自回归的下一个令牌/场景预测。该模型在包括4D占用预测、运动规划和视觉问答等任务上进行训练和评估。

关键结果

OccLLaMA在多个自动驾驶任务上取得了有竞争力的性能，包括4D占用预测、运动规划和视觉问答，展示了其作为基础模型的潜力。

局限性

依赖语义占用作为通用视觉表示可能限制对动态物体或罕见事件的细粒度感知
自回归的下一个令牌/场景预测方法可能带来高计算成本，可能阻碍实时部署

资源

论文