Memorizon：在上下文窗口之外训练世界模型
TLDR
Memorizon用相机共可见性检索Top-K潜变量，长跨度训练世界模型，重复访问渲染一致，无需二次注意力。
评分理由
The paper presents a novel training recipe that decouples long-span supervision from attention cost, with empirical evidence of improved revisit consistency and bounded step-time growth. Weaknesses include a trade-off with image quality and reliance on camera co-visibility, with no demonstrated interactive or RL settings.
Read-first 评分解释
综合优先阅读分 34.1，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 38。
研究版图角色
前沿论文
排序敏感性
稳定性：volatile；排名波动范围：280。
关键词评分
深度分析
创新点
- 将长跨度监督与注意力解耦：训练样本可覆盖任意跨度，但仅对最后k个chunk评分，因此重访可在不包含所有中间帧的情况下共享一次前向传播。
- 引入由kK限界的基于检索的共享记忆库：每个被评分的chunk通过相机共可见性检索自己的Top-K潜变量，这些请求的并集构成记忆库，使序列长度与跨度无关地保持有界。
- 以极小额外开销将训练扩展到长跨度：加入记忆库仅一次性提高单步成本，跨度从100秒延长到400秒仅增加12%单步时间。
方法
Memorizon在覆盖任意长度跨度的样本上训练流式世界模型，但仅对最后k个chunk评分。每个被评分的chunk通过相机共可见性检索Top-K潜变量，这些请求的并集构成一个由kK限界的共享记忆库。该方法与滑动窗口基线进行对比，并在不同跨度和记忆库来源下评估重访一致性与图像质量。
关键结果
与滑动窗口基线相比，检索在每个数据划分上都提升了重访一致性。跨度足以到达每次返回的首次访问时，一致性额外提高24%至30%，但会损失一定图像质量；超过该跨度后，增加长度不再有帮助。从另一个episode填充记忆库会使重访相关性降低83%。
局限性
- 重访一致性的提升以一定的图像质量损失为代价。
- 将跨度延长到超过每次返回的首次访问之后，不再进一步提升重访一致性。