跨视角世界模型

arXiv 26.2 2026 69.7 method

TLDR

提出跨视角世界模型，利用多视角一致性从不同视角预测未来状态，实现任意视角规划。

评分理由

The paper presents a novel cross-view prediction objective that enforces geometric regularization, leading to view-invariant 3D representations. Its strength lies in the innovative use of multi-view consistency for spatial grounding, but it is limited to a simulated game environment (Aimlabs) without real-world validation.

Read-first 评分解释

综合优先阅读分 69.7，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 57。

近期性 8%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

主题相关性 42%

81.4

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：指标、结果、验证

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：135。

关键词评分

world model

video world model

world dynamics prediction

generative world model

interactive world model

world simulator

model-based reinforcement learning world model

深度分析

创新点

跨视角预测目标：给定一个视角的帧序列，预测执行动作后同一或不同视角的未来状态。
将跨视角一致性作为几何正则化，以学习环境3D结构的视角不变表示。
跨视角的并行想象流，使得能够在最适合任务的参考系中进行规划，同时从自我中心视角执行。

方法

该模型使用来自Aimlabs（一个瞄准训练平台）的同步多视角游戏数据进行跨视角预测目标训练，该平台提供精确对齐的多摄像头记录和高频动作标签。模型学习从相同或不同视角预测未来状态，通过强制跨视角一致性来正则化空间接地表示的学习。

关键结果

多视角一致性为空间接地表示提供了强大的学习信号，得到的模型使智能体能够从不同视角进行规划，同时从自我中心视角执行。

局限性

需要同步的多视角数据，这在许多现实世界或单视角设置中可能不可用。
仅在Aimlabs平台上进行了演示；未评估对其他环境或任务的泛化能力。
对多智能体环境中视角转换的潜力表述带有不确定性（'可能提供'），表明验证有限。

技术栈

AimlabsWorld ModelsCross-View Prediction

资源

论文