MosaicMem：面向可控视频世界模型的混合空间记忆

arXiv 26.3 2026 61.4 method

TLDR

MosaicMem混合空间记忆通过3D补丁提升和patch-and-compose接口，在可控视频世界模型中改善了姿态一致性和动态建模。

评分理由

The paper introduces a novel hybrid memory approach that addresses key limitations of explicit and implicit spatial memories for video world models, with clear methodology and experimental validation. However, the abstract lacks details on datasets and quantitative results, and the connection to model-based reinforcement learning is absent.

Read-first 评分解释

综合优先阅读分 61.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 48。

近期性 8%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

主题相关性 42%

68.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、实验

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：GitHub

研究版图角色

前沿论文

排序敏感性

稳定性：volatile；排名波动范围：326。

关键词评分

video world model

world model

world simulator

interactive world model

generative world model

world dynamics prediction

model-based reinforcement learning world model

深度分析

创新点

结合显式3D补丁（可靠定位与定向检索）和隐式记忆（动态建模）的混合空间记忆
Patch-and-compose接口，在查询视图中组合空间对齐的补丁
用于改善姿态一致性的PRoPE相机条件化
两种新的记忆对齐方法

方法

MosaicMem将补丁提升到3D以实现可靠定位和定向检索，同时利用模型的原生条件化来保持遵循提示的生成。它通过patch-and-compose接口组合空间对齐的补丁，保留持久元素，同时允许模型修复演变内容。该方法使用PRoPE相机条件化和两种新的记忆对齐方法，并与隐式和显式基线进行了评估。

关键结果

实验表明，与隐式记忆相比，姿态一致性得到改善，与显式基线相比，动态建模更强。MosaicMem实现了分钟级导航、基于记忆的场景编辑和自回归展开。

技术栈

Video diffusion models3D patch liftingPatch-and-compose interfacePRoPE camera conditioning

资源

论文项目