OmniNWM:全知驾驶导航世界模型
TLDR
OmniNWM是一种全景导航世界模型,可生成多模态视频、实现精确动作控制,并为驾驶智能体提供闭环评估的密集奖励。
评分理由
Strengths include a unified probabilistic framework addressing state, action, and reward dimensions, zero-shot trajectory control across datasets, and long-horizon generation via structured panoramic forcing. Weaknesses are domain specificity to driving, reliance on an in-house dataset limiting reproducibility, and no discussion of real-time performance.
Read-first 评分解释
综合优先阅读分 52.8,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 59。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性:volatile;排名波动范围:674。
关键词评分
深度分析
创新点
- 通过联合分布建模生成像素级对齐的RGB、语义、度量深度和3D占用的全景视频
- 提出结构化全景强制策略,通过随机流形增厚缓解自回归暴露偏差并稳定长时域生成
- 使用归一化全景Plücker射线图的规范几何动作编码,实现跨异构数据集和相机配置的零样本轨迹控制
- 从生成的3D体积中推导内在占用引导的密集奖励,用于闭环仿真和规划智能体评估
方法
OmniNWM是一个一致的概率框架,处理自动驾驶世界模型的状态、动作和奖励维度。它生成像素级对齐的全景多模态视频(RGB、语义、深度、3D占用),使用结构化全景强制策略减少自回归漂移,通过规范Plücker射线图编码动作以解耦运动动力学,并从生成的3D占用体积中推导密集奖励。
关键结果
OmniNWM在生成保真度和控制精度上达到SOTA性能,在NuPlan和具有不同相机配置的内部数据集上展现出对新场景的显著零样本鲁棒性。