Raw2Drive：基于对齐世界模型的强化学习用于端到端自动驾驶（在CARLA v2中）

arXiv 25.5 2025 61.3 method, application

TLDR

Raw2Drive使用双流MBRL和对齐的世界模型，在CARLA v2中实现了最先进的端到端自动驾驶。

评分理由

The paper introduces a novel dual-stream MBRL approach that aligns a privileged world model with a raw sensor world model via a guidance mechanism, addressing the gap of using raw sensor data in MBRL for autonomous driving. Its strength lies in achieving SOTA on CARLA Leaderboard 2.0 and Bench2Drive, but it is limited to simulation environments with no real-world validation.

Read-first 评分解释

综合优先阅读分 61.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 53。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

主题相关性 42%

75.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：结果

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文

排序敏感性

稳定性：volatile；排名波动范围：375。

关键词评分

world model

model-based reinforcement learning world model

world dynamics prediction

world simulator

generative world model

video world model

interactive world model

深度分析

创新点

双流MBRL方法，结合特权世界模型和原始传感器世界模型用于端到端自动驾驶
引导机制，确保在展开过程中原始传感器世界模型与特权世界模型之间的一致性
利用特权世界模型头部的先验知识指导原始传感器策略训练
首个基于RL的端到端方法，在CARLA Leaderboard 2.0和Bench2Drive上取得最先进性能

方法

Raw2Drive首先训练一个辅助特权世界模型，并配以一个使用特权信息作为输入的神经规划器。然后通过引导机制训练原始传感器世界模型，该机制在展开过程中强制原始传感器世界模型与特权世界模型之间的一致性。最后，原始传感器世界模型利用特权世界模型头部的先验知识来指导原始传感器策略的训练。

关键结果

Raw2Drive是唯一基于RL的端到端方法，在CARLA Leaderboard 2.0和Bench2Drive上取得了最先进的性能。

局限性

需要特权信息用于辅助世界模型的初始训练，这在现实场景中可能不可用
仅在模拟环境（CARLA）中评估，未展示现实世界的适用性和泛化能力
双流训练和引导机制可能带来复杂性和计算开销

资源

论文