长上下文状态空间视频世界模型

arXiv 25.5 2025 70.8 method

TLDR

提出状态空间模型视频世界模型，高效扩展时间记忆，在Memory Maze和Minecraft上评估。

评分理由

The paper introduces a novel block-wise SSM scanning scheme to address long-term memory limitations in video diffusion world models, with strong empirical results on spatial retrieval tasks. However, the evaluation is limited to simulated environments, and the abstract does not provide details on real-world deployment or comparisons to model-based RL baselines.

Read-first 评分解释

综合优先阅读分 70.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 53。

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、数据集、评估、实验

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

主题相关性 42%

75.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：数据集

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：53。

关键词评分

world model

video world model

generative world model

interactive world model

world dynamics prediction

world simulator

model-based reinforcement learning world model

深度分析

创新点

使用状态空间模型（SSM）的新颖架构，用于视频世界模型中的长期时间记忆，克服了注意力层的计算成本
块状SSM扫描方案，策略性地以空间一致性换取扩展的时间记忆
密集的局部注意力以确保连续帧之间的连贯性

方法

本文提出了一种因果视频世界模型，结合状态空间模型（SSM）与块状扫描方案以高效扩展时间记忆，并配以密集的局部注意力实现帧间连贯性。该模型通过基于动作的自回归帧预测进行训练，并在Memory Maze和Minecraft数据集上通过长程空间检索和推理任务进行评估。

关键结果

所提出的方法在Memory Maze和Minecraft数据集上超越了基线在保持长程记忆方面的表现，同时保持了适用于交互应用的实际推理速度。

局限性

空间一致性与扩展时间记忆之间的权衡可能会降低细粒度空间细节
评估仅限于Memory Maze和Minecraft数据集，未验证在其他领域的泛化能力
推理速度被描述为“实际”，但未与基线或实时要求进行定量比较

技术栈

State-space models (SSM)Dense local attentionAutoregressive frame prediction

资源

论文