VISTAv2：面向室内视觉-语言导航的世界想象

arXiv 25.11 2025 68.5 method, application

TLDR

VISTAv2使用生成式世界模型想象室内视觉-语言导航的未来视图，通过在线价值图改进规划。

评分理由

The paper introduces a novel integration of generative video prediction with value-based planning, demonstrating strong empirical results on MP3D and RoboTHOR. However, it is limited to short-horizon futures and evaluated on only two datasets, leaving scalability and long-horizon generalization unaddressed.

Read-first 评分解释

综合优先阅读分 68.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 61。

主题相关性 42%

87.1

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：消融、基线

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：258。

关键词评分

world model

generative world model

video world model

world dynamics prediction

interactive world model

model-based reinforcement learning world model

world simulator

深度分析

创新点

使用生成式世界模型的动作条件化自我中心未来视图预测
在分数层面与基础目标融合的在线价值图规划
用于合成短程未来的动作感知条件扩散Transformer视频预测器
将多个展开融合为自我中心价值图的可微想象到价值头
在VAE潜在空间中使用蒸馏采样器和稀疏解码的高效展开，可在单个消费级GPU上运行
通过视觉-语言评分器的指令引导价值融合

方法

VISTAv2是一个生成式世界模型，它基于过去观测、候选动作序列和指令，展开以自我为中心的未来视图。它使用动作感知的条件扩散Transformer视频预测器合成短程未来，通过视觉-语言评分器将其与语言对齐，并在可微的想象到价值头中融合多个展开，输出一个自我中心价值图。展开在VAE潜在空间中进行，使用蒸馏采样器和稀疏解码以提高效率。该模型在MP3D和RoboTHOR上针对强基线进行了评估。

关键结果

VISTAv2在MP3D和RoboTHOR上优于强基线，消融实验证实动作条件化想象、指令引导的价值融合以及在线价值图规划器对性能均至关重要。

局限性

仅在室内环境（MP3D和RoboTHOR）上进行了评估
需要候选动作序列进行展开，这可能限制其在未知或动态环境中的适用性
依赖短程未来预测，可能限制长程规划

资源

论文