世界模型能否助力VLM理解世界动态？

arXiv 2025 59.8 method

TLDR

研究使用视频扩散模型作为VLM的生成编码器，发现提升了空间推理和多帧推理能力，达到最优性能。

评分理由

Strengths include systematic investigation of world model priors for VLMs and a novel method (DyVA) with empirical evidence. Weaknesses: abstract lacks details on limitations, generalizability, and computational cost.

Read-first 评分解释

综合优先阅读分 59.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 43。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、评估、结果

主题相关性 42%

61.4

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：197。

关键词评分

world model

generative world model

video world model

world simulator

world dynamics prediction

interactive world model

model-based reinforcement learning world model

深度分析

创新点

将视频扩散模型重新用作VLM的生成编码器（WorldLMs），通过单步去噪生成视觉嵌入
动态视觉对齐器（DyVA）能够从单张图像中增强空间推理和多帧推理能力
精心策划的视觉推理任务套件，用于系统评估VLM中的世界模型先验

方法

该论文将视频扩散模型重新用作生成编码器，通过单步去噪提取潜在视觉嵌入，然后将其集成到视觉语言模型（称为WorldLM）中。最佳变体DyVA在精心策划的视觉推理任务套件上进行训练和评估，并与开源和专有基线进行比较。

关键结果

DyVA在视觉推理上超越了开源和专有基线，达到最优或可比性能，在空间推理和从单张图像进行多帧推理方面取得显著提升，这归因于视频预训练中学到的运动一致性内化。

资源

论文