DriveVA:视频动作模型是零样本驾驶员
TLDR
DriveVA联合生成未来视频与动作轨迹,在NAVSIM上实现强零样本规划性能。
评分理由
The paper proposes a novel world model that integrates video generation and trajectory prediction, leveraging pretrained video models for stronger generalization. Strengths include the joint video-action decoding and zero-shot cross-domain results, while weaknesses include limited evidence of comparisons with prior methods and the abstract being cut off.
Read-first 评分解释
综合优先阅读分 62.7,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 52。
研究版图角色
排序敏感性
稳定性:volatile;排名波动范围:194。
关键词评分
深度分析
创新点
- 提出DriveVA,一种自动驾驶世界模型,在共享潜在生成过程中联合解码未来视觉预测和动作序列。
- 利用预训练的大规模视频生成模型中丰富的运动动力学和物理合理性先验。
- 采用基于DiT的解码器联合预测未来动作序列/轨迹和视频,使规划与场景演化之间对齐更紧密。
- 引入视频延续策略以增强长时程推演的一致性。
方法
DriveVA采用共享潜在生成过程,配合基于DiT的解码器联合预测未来轨迹和视频,并从预训练的大规模视频生成模型中继承先验。此外,它使用视频延续策略来保证长时程推演的一致性。评估在NAVSIM、nuScenes和基于CARLA v2的Bench2Drive上进行,并与最先进的基于世界模型的规划器进行比较。
关键结果
DriveVA在NAVSIM上取得90.9的PDM得分;与最先进的基于世界模型的规划器相比,在nuScenes上将平均L2误差和碰撞率分别降低78.9%和83.3%,在基于CARLA v2的Bench2Drive上分别降低52.5%和52.4%。