生成模型理解空间：释放隐式3D先验用于场景理解

arXiv 26.3 2026 50.3 method, application

TLDR

VEGA-3D将预训练视频扩散模型重新用作潜在世界模拟器，提取隐式3D先验以增强多模态大语言模型的空间推理，无需显式3D监督。

评分理由

The paper presents a novel approach leveraging implicit spatial priors from video generation models, demonstrating strong empirical results across multiple benchmarks. However, it is limited to spatial reasoning tasks and may not generalize to other domains, and the reliance on pre-trained video models could introduce biases.

Read-first 评分解释

综合优先阅读分 50.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 38。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：代码、GitHub

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、基准、实验、指标

主题相关性 29%

54.3

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

引用影响力 18%

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：0

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文方法锚点复现锚点

排序敏感性

稳定性：volatile；排名波动范围：830。

关键词评分

world simulator

world model

video world model

generative world model

world dynamics prediction

interactive world model

model-based reinforcement learning world model

深度分析

创新点

范式转变：利用大规模视频生成模型中的隐式空间先验进行场景理解
VEGA-3D：一个即插即用的框架，将预训练的视频扩散模型重新用作潜在世界模拟器
令牌级自适应门控融合机制，无需显式3D监督即可将时空特征与语义表示集成

方法

该方法使用预训练的视频扩散模型作为潜在世界模拟器，从中间噪声层提取时空特征。通过令牌级自适应门控融合机制，将这些特征与多模态大语言模型的语义表示集成，从而在无需显式3D监督的情况下提供密集几何线索。

关键结果

VEGA-3D在3D场景理解、空间推理和具身操作基准上均优于最先进的基线，验证了生成先验为物理世界理解提供了可扩展的基础。

技术栈

video diffusion modelMultimodal Large Language Models (MLLMs)token-level adaptive gated fusion mechanism

资源

论文代码