WorldAttention：用于交互式视频世界模型的高效注意力架构

arXiv 2026 38.7 method

TLDR

提出稀疏注意力与分层KV缓存，实现高效长上下文交互式视频世界模型。

评分理由

The paper proposes a system-oriented attention architecture combining Hybrid Sparse Attention and Hierarchical KV Cache to overcome context and memory limitations in interactive video world models. Strengths include a clear problem definition and co-design approach, but the abstract is truncated before results, so quantitative evidence is not visible.

Read-first 评分解释

综合优先阅读分 38.7，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 50。

近期性 5%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

主题相关性 25%

71.4

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 15%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：实验、指标

可复现性 15%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

图谱声望 15%

5.7

基于可用 OpenAlex 引用关系构建局部引用图，并计算 PageRank 风格的图谱声望。局部 PageRank：0.0016

引用影响力 15%

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：0

引用速度 10%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：461。

关键词评分

world model

interactive world model

video world model

generative world model

world simulator

world dynamics prediction

model-based reinforcement learning world model

深度分析

创新点

混合稀疏注意力（HSA）：融合线性全局注意力与头部自适应稀疏注意力。
分层 KV 缓存（HKV）：将历史 KV 对组织为跨多层内存的语义索引页，支持细粒度检索与受控 GPU 驻留。
与架构协同设计的定制注意力内核，将理论效率转化为实际性能。

方法

WorldAttention 是一种面向系统的注意力架构，面向基于自回归扩散的文本条件交互式视频世界模型。它结合混合稀疏注意力与分层 KV 缓存，并由专门化内核支持。该方法在 VBench-Long 和 InterVBench 上以主体一致性作为报告指标，与先前最先进方法进行对比评估。

关键结果

WorldAttention 超越了先前最先进方法，在 VBench-Long 上主体一致性得分达到 0.9472，在 InterVBench 上达到 0.9668。

局限性

滑动窗口机制固有地牺牲历史上下文，削弱长程交互能力。
维护全历史缓存仍然计算代价高昂且内存密集：注意力二次复杂度导致过多计算开销，KV 缓存线性增长导致 GPU 内存饱和。

技术栈

Custom attention kernelsHierarchical KV Cache (HKV)Autoregressive diffusion

资源

论文