AD-R1: 基于Impartial World Models的端到端自动驾驶闭环强化学习

arXiv 25.11 2025 60.2 method, application

TLDR

提出公正世界模型与反事实合成，减少自动驾驶RL中的乐观偏差，提升仿真安全性。

评分理由

The paper identifies a key flaw (optimistic bias) in world models for RL and proposes a novel counterfactual synthesis pipeline to create an Impartial World Model. Strengths include a clear problem statement and integration into closed-loop RL, but weaknesses are the lack of real-world validation and reliance on simulated environments only.

Read-first 评分解释

综合优先阅读分 60.2，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 47。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、基准、实验

主题相关性 42%

67.1

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：265。

关键词评分

world model

model-based reinforcement learning world model

world dynamics prediction

interactive world model

world simulator

generative world model

video world model

深度分析

创新点

识别出自动驾驶强化学习中世界模型存在根本性的乐观偏差
引入对危险保持诚实的公正世界模型（Impartial World Model）
反事实合成（Counterfactual Synthesis）数据流程，系统生成合理碰撞和驶离道路事件的课程
闭环强化学习框架，其中公正世界模型作为内部批评者进行训练后策略微调
用于评估失败预测的风险预见基准（Risk Foreseeing Benchmark）

方法

本文提出一个围绕公正世界模型（Impartial World Model）构建的训练后策略微调框架。该模型通过新颖的反事实合成（Counterfactual Synthesis）流程进行训练，该流程生成包含合理碰撞和驶离道路事件的课程，将其从被动的场景补全器转变为真实的预测器。然后将该公正世界模型作为内部批评者集成到闭环RL框架中，在微调过程中智能体查询批评者以“梦想”候选动作的结果。

关键结果

公正世界模型在风险预见基准（Risk Foreseeing Benchmark）上的失败预测显著优于基线。当在闭环RL框架中用作批评者时，它能够在具有挑战性的模拟中大幅减少安全违规。

技术栈

Reinforcement LearningImpartial World ModelCounterfactual SynthesisClosed-loop RLRisk Foreseeing Benchmark

资源

论文