Velox:空间记忆让世界模型更高效
TLDR
Velox 利用相机视锥体切片的免训练注意力路由,加速视频世界模型展开并保持WBench质量。
评分理由
The paper addresses a clear bottleneck in video world models—growing KV caches—and reports strong speedups with modest quality loss on a benchmark. However, the method relies on geometric camera assumptions and the abstract does not demonstrate generalization beyond the evaluated navigation setting.
Read-first 评分解释
综合优先阅读分 34.4,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 44。
研究版图角色
前沿论文
排序敏感性
稳定性:volatile;排名波动范围:292。
关键词评分
深度分析
创新点
- 无需训练的注意力路由器(Velox),用于分块视频扩散世界模型中的区域级上下文选择。
- 将历史块表示为具有深度区间的相机视锥体切片,并通过最近性优先的多重扭曲获取当前块深度。
- 对于覆盖良好的区域,基于视锥体切片重叠柔和地调制各层模型导出的块重要性;未覆盖区域保留模型导出的路径。
- 采用固定的令牌-块粒度,与FlashAttention风格的分块执行兼容,减少随展开长度增长的注意力成本。
- 在同一块H200上与去噪异步运行视锥体切片构建。
方法
Velox是一种用于分块视频扩散世界模型的无需训练注意力路由器。它为历史块构建带深度区间的相机视锥体切片,通过最近性优先的多重扭曲估计当前块深度,并在覆盖区域使用视锥体切片重叠调制模型导出的块重要性。固定的令牌-块粒度与FlashAttention风格的分块执行匹配,视锥体切片构建与去噪异步运行。
关键结果
在第48个分块,Velox将注意力加速4.36倍,将去噪加速2.43倍。在完整的158个案例WBench导航划分中,Velox与密集LingBot-Fast-Cam的API-free平均分数差距保持在0.15以内。
技术栈
FlashAttentionH200