ReWorld：具有长时记忆的交互式世界模型
TLDR
ReWorld 是具有长时记忆的交互式世界模型，结合混合注意力、有界 KV 缓存、地标检索与蒸馏实现实时视频生成。
评分理由
The paper introduces a novel architecture separating short-horizon control from long-horizon memory, supported by a metric-scale-aligned multi-source data engine and distillation for real-time inference. Strengths include addressing a structural trade-off and evaluating against six recent models, but the abstract is truncated and lacks explicit quantitative results.
Read-first 评分解释
综合优先阅读分 44.9，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 55。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：477。
关键词评分
深度分析
创新点
- 在训练期间通过混合逐头注意力窗口（少量全局头）、随机头路由和随机块丢弃来解耦控制与记忆
- 推理时有界 KV 缓存，辅以基于位姿索引的地标库，检索当前位姿最近的地标以实现长时记忆
- 度量尺度对齐的数据引擎，将八种不同数据源（Unreal 渲染、游戏漫游、真实世界视频）置于统一物理动作尺度上，并使用回文轨迹提供重访证据
- 限局于 LoRA 适配器的分布匹配蒸馏，将采样压缩到四步，使一个主干网络同时支持高保真多步模式和实时交互流式模式
方法
ReWorld 在训练时通过混合注意力窗口将控制与记忆分离：大多数头关注近期短窗口，少数全局头关注完整历史，并通过随机头路由和块 dropout 防止特化。推理时使用固定预算的 KV 缓存，由基于位姿索引的地标库支撑，检索相关历史地标，从而限制记忆规模。一个度量尺度对齐的数据引擎将八种数据源统一到同一物理动作尺度，并生成回文轨迹用于基于重访的记忆训练。最后，向 LoRA 适配器的分布匹配蒸馏将采样减少到四步，使单一主干网络既能运行高保真模式，也能运行实时交互模式。
关键结果
ReWorld 在六个近期交互式世界模型对比中取得最佳控制保真度（11.95° 旋转误差、最佳相机运动一致性）和最佳生成质量。在固定 12 块缓存的一分钟往返 rollout（64 秒，384 个潜变量）上，它能重新生成起始视图，而滑动窗口基线已逐出证据，全 KV 注意力则内存耗尽。