GeoState:面向3D世界建模的视图解耦几何状态学习
TLDR
GeoState提出视图解耦几何表示,分离场景状态演化与相机运动,实现3D世界模型自回归预测与跨数据集零样本泛化。
评分理由
Strong contribution in disentangling view-dependent observations from scene-state dynamics, with empirical validation on Waymo and zero-shot generalization to KITTI and nuScenes. However, the abstract lacks details on evaluation metrics, baselines, and limitations, and it does not address interactive or reinforcement-learning settings.
Read-first 评分解释
综合优先阅读分 34.8,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 30。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性:volatile;排名波动范围:369。
关键词评分
深度分析
创新点
- 提出GeoState,一种用于预测性3D世界建模的视图解耦几何表示,将场景状态演化与依赖相机的观测分离开来。
- 使用场景标记器(scene tokenizer)将多视图几何基础模型特征聚合为视图解耦的场景状态。
- 采用几何解码器,通过相机射线查询场景状态,从而能够在预测或外部指定的相机下进行解码。
- 使用自回归世界模型预测未来场景状态,同时对相机运动进行单独建模。
- 在推演过程中保持由上下文导出的单一尺度,避免逐帧尺度对齐。
方法
GeoState通过场景标记器将多视图几何基础模型特征聚合成视图解耦的场景状态,随后用相机射线查询该状态来解码几何。自回归世界模型预测未来场景状态,相机运动被单独建模;预测状态可在预测或外部指定的相机下解码。该方法在Waymo上相较于先前3D世界模型进行评估,并在KITTI和nuScenes上进行零样本泛化评估。
关键结果
GeoState在Waymo上优于先前的3D世界模型,支持几何一致的跨视图查询,并可零样本泛化到KITTI和nuScenes。