⌁ Awesome World Model Hub 论文 · 数据集 · 项目
English GitHub
← 返回论文列表

眼不见，心不忘：动态视频世界模型的混合记忆

arXiv 26.3 2026 69.6 method, benchmark

TLDR

提出混合记忆与HyDRA，用于视频世界模型在主体隐藏时保持一致性，并构建新数据集HM-World。

评分理由

The paper addresses a clear gap in video world models by proposing a hybrid memory paradigm and a specialized architecture (HyDRA) that outperforms existing methods on a new large-scale dataset (HM-World). However, the contribution is limited to video generation tasks and does not extend to interactive or reinforcement learning settings, and the term 'world model' may be overstated for a video prediction context.

Read-first 评分解释

综合优先阅读分 69.6，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 42。

近期性 8%
100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。 年份：2026

可复现性 25%
85

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文：有；代码：有；数据：无；命中信号：代码、数据集、GitHub

主题相关性 42%
60

使用现有 LLM 关键词相关性评分，并归一化到 0-100。 关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 25%
60

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号：数据集、实验

研究版图角色

前沿论文复现锚点

排序敏感性

稳定性：volatile；排名波动范围：220。

关键词评分

video world model
10
world model
8
world dynamics prediction
8
generative world model
7
world simulator
6
interactive world model
2
model-based reinforcement learning world model
1

深度分析

创新点

  • 混合记忆范式，要求模型同时充当静态背景的精确档案管理员和动态主体的警觉追踪者，确保视野外间隔期间的运动连续性。
  • HM-World，首个专用于混合记忆的大规模视频数据集，包含59K段高保真片段，具有解耦的相机和主体轨迹，涵盖17种场景、49个主体，并精心设计了进出事件。
  • HyDRA，一种专门的记忆架构，将记忆压缩为令牌，并利用时空相关性驱动的检索机制，以保留隐藏主体的身份和运动。

方法

本文提出HyDRA记忆架构，将记忆压缩为令牌，并采用时空相关性驱动的检索机制，选择性关注相关运动线索。该方法在新构建的HM-World数据集上进行评估，该数据集包含59K段具有解耦相机和主体轨迹及进出事件的片段。与动态视频世界建模中的最先进方法进行了比较。

关键结果

在HM-World上的大量实验表明，HyDRA在动态主体一致性和整体生成质量上均显著优于现有最先进方法。

资源

论文代码项目

标签