面向视频世界模型的持久平面记忆

arXiv 2026 35.9 method

TLDR

PPMem 以平面基元作为持久 3D 记忆，联合预测 RGB 与平面几何，保障长视频生成连贯性。

评分理由

The paper introduces a novel persistent planar memory mechanism that makes video world models more compact and geometrically explicit. Strong empirical validation on DL3DV and RealEstate10K supports its claims, though the abstract does not discuss limitations or computational costs.

Read-first 评分解释

综合优先阅读分 35.9，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 43。

近期性 5%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

主题相关性 25%

61.4

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 15%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：指标、结果

可复现性 15%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：GitHub

图谱声望 15%

5.7

基于可用 OpenAlex 引用关系构建局部引用图，并计算 PageRank 风格的图谱声望。局部 PageRank：0.0016

引用影响力 15%

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：0

引用速度 10%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文

排序敏感性

稳定性：volatile；排名波动范围：334。

关键词评分

video world model

world model

generative world model

world dynamics prediction

world simulator

interactive world model

model-based reinforcement learning world model

深度分析

创新点

使用有向平面基元作为视频世界模型的持久3D记忆，每个基元仅需7个参数。
提出 PPMem，在视频扩散Transformer中引入平面预测头和深度令牌融合（DTF）模块。
自回归块联合生成RGB视频和平面几何，并合并为持久平面记忆，通过渲染深度对后续块进行条件约束。
实现了紧凑、几何显式、跨视图一致且自适应的3D记忆（约10万基元，整个场景5MB）。

方法

PPMem 在视频扩散Transformer上增加平面预测头和深度令牌融合（DTF）。每个自回归块联合生成RGB视频和平面几何，并将其合并为持久平面记忆；后续块通过从该记忆渲染的深度进行条件约束。该方法在 DL3DV 和 RealEstate10K 上与以往的基于3D的世界模型进行比较评估。

关键结果

在 DL3DV 和 RealEstate10K 上，PPMem 在视频质量上优于以往的基于3D的世界模型，同时联合生成度量尺度深度、表面法线和可导出平面几何，并在大视角变化下维持数百帧的连贯性。

资源

论文