FantasyWorld: 通过统一视频与3D预测实现几何一致的世界建模

arXiv 25.9 2025 59.3 method

TLDR

FantasyWorld通过几何分支增强冻结视频模型，联合视频与3D预测，实现几何一致的世界建模。

评分理由

The paper introduces a novel framework that combines video and 3D prediction with cross-branch supervision, showing strong empirical results. However, the abstract lacks details on real-world datasets and does not address interactive or RL-specific applications.

Read-first 评分解释

综合优先阅读分 59.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 37。

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：消融、基线、实验、指标、结果

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

主题相关性 42%

52.9

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：279。

关键词评分

world model

video world model

generative world model

world dynamics prediction

world simulator

model-based reinforcement learning world model

interactive world model

深度分析

创新点

通过可训练的几何分支增强冻结视频基础模型，实现联合视频与3D建模
跨分支监督：几何线索引导视频生成，视频先验正则化3D预测
单次前向传播中联合建模视频潜在表示与隐式3D场
几何分支产生的通用3D表示，无需逐场景优化即可支持新视角合成和导航等下游任务

方法

FantasyWorld通过可训练的几何分支增强冻结视频基础模型，在单次前向传播中联合建模视频潜在表示与隐式3D场。采用跨分支监督，几何线索引导视频生成，视频先验正则化3D预测，从而产生一致且可泛化的3D感知视频表示。

关键结果

FantasyWorld在多视角一致性和风格一致性方面优于最近的几何一致基线。消融研究证实，这些提升源于统一骨干网络和跨分支信息交换。

资源

论文