蒸馏思考,预见行动:面向自动驾驶的认知-物理强化学习
TLDR
CoPhy结合VLM知识蒸馏与自回归BEV世界模型及双奖励GRPO,实现更安全的自动驾驶。
评分理由
Strengths: novel integration of cognitive and physical components, interpretable world model, state-of-the-art results on NAVSIM benchmarks. Weaknesses: reliance on VLM distillation may have limitations, world model is BEV-based not full video, evaluation limited to simulation benchmarks.
Read-first 评分解释
综合优先阅读分 66,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 59。
研究版图角色
基础论文前沿论文桥接论文方法锚点
排序敏感性
稳定性:volatile;排名波动范围:410。
关键词评分
深度分析
创新点
- 将VLM知识蒸馏到BEV编码器中并完全丢弃VLM,以零推理成本保留认知能力,同时将认知通道释放为可插拔接口,支持可选的人类语言指令。
- 构建自回归BEV世界模型,显式预测基于候选动作的未来语义地图,作为可解释的物理沙盒,直接从中推导安全指标。
- 通过GRPO优化驾驶策略,采用新颖的双奖励机制:从BEV rollout中推导的物理奖励强制执行硬安全约束,以及来自语言对齐评分器的认知奖励确保意图合规。
方法
CoPhy是一个用于自动驾驶的认知-物理强化学习框架。它首先将VLM知识蒸馏到BEV编码器中,然后丢弃VLM以实现零成本的认知能力。它构建了一个自回归BEV世界模型,用于预测基于候选动作的未来语义地图,提供可解释的物理沙盒。驾驶策略通过GRPO优化,采用双奖励机制,结合来自世界模型rollout的物理安全奖励和来自语言对齐评分器的认知意图合规奖励。
关键结果
CoPhy在NAVSIM v1和v2基准测试中取得了最先进的结果,并通过认知感知的场景合规性和用户定义语言指令的灵活意图控制实现了更安全的驾驶。
技术栈
VLMBEV encoderGRPOauto-regressive world modellanguage-aligned scorer