LOCI:用于流式世界模型的空间线性记忆
TLDR
LOCI:用于流式世界模型的混合空间记忆架构,结合键值缓存与相机条件循环线性注意力,以低内存忠实再现重访内容。
评分理由
The paper introduces a novel hybrid memory design that integrates projective camera geometry into recurrent linear attention, with strong empirical results on a public benchmark and real recorded trajectories. However, the abstract provides limited detail on baselines, ablations, and limitations, and the connection to broader world-model terminology is only partially explicit.
Read-first 评分解释
综合优先阅读分 31.6,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 35。
研究版图角色
排序敏感性
稳定性:volatile;排名波动范围:238。
关键词评分
深度分析
创新点
- 混合空间记忆架构,同时保留键值缓存和循环线性注意力记忆
- 读写操作由投影相机几何条件化的循环线性注意力记忆
- 交替的Transformer块:一半块对过往观察进行缓存支持的注意力,另一半块进行块内受限注意力并辅以循环记忆
- 循环读出流入后续缓存支持块,为查询提供累积的场景上下文
- 有界的保留观察库,能够以恒定内存流式处理长视频
方法
LOCI是一种基于Transformer的视频世界模型,在公开的MIND记忆基准和留出录制轨迹上评估。它采用混合设计:一半的Transformer块维护过去观察的键值缓存,另一半将注意力限制在当前块内,并由基于投影相机几何条件化的循环线性注意力记忆补充。与代表性世界模型和使用相同配方的全softmax模型进行了比较,评估指标包括重访内容的保真度和内存使用。
关键结果
LOCI在重访内容上的再现保真度高于代表性世界模型和相同配方的全softmax模型。在完整历史记录下,相同长度相比全softmax峰值内存降低约30%;在有界保留观察库下,它能够以恒定内存流式处理长视频,并在相同预算下比全softmax保持更高的保真度。