Matrix-Game 3.5：利用补丁记忆增强实时流式交互世界模型

arXiv 2026 38 method, system

TLDR

Matrix-Game 3.5利用几何感知补丁记忆、动静解耦与渐进式蒸馏，实现长时程一致的实时交互世界生成。

评分理由

The paper presents well-motivated architectural innovations for interactive world modeling, including memory, disentanglement, and distillation. However, the visible abstract provides no explicit experimental results or benchmarks, and it ends mid-sentence, limiting verification of claimed real-world performance.

Read-first 评分解释

综合优先阅读分 38，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 50。

近期性 5%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

主题相关性 25%

71.4

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 15%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：实验、指标

可复现性 15%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

图谱声望 15%

10.9

基于可用 OpenAlex 引用关系构建局部引用图，并计算 PageRank 风格的图谱声望。局部 PageRank：0.0031

引用影响力 15%

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：0

引用速度 10%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文

排序敏感性

稳定性：volatile；排名波动范围：400。

关键词评分

world model

interactive world model

generative world model

world simulator

video world model

world dynamics prediction

model-based reinforcement learning world model

深度分析

创新点

统一的几何感知记忆框架，结合patch-memory与tiled-PRoPE，实现显式3D补丁检索和投影相机条件，且不引入额外可学习参数
静态-动态解耦的世界表示，分别建模静态场景几何与动态主体，以保持几何一致性和主体身份
两阶段渐进式实时蒸馏框架，使用Perceptual Flow Matching和基于课程的Self-Rollout DMD，将双向扩散模型转换为少步因果生成器

方法

本文基于Matrix-Game 3.0，引入包含patch-memory和tiled-PRoPE的几何感知记忆框架、静态-动态解耦的世界表示，以及两阶段渐进式蒸馏框架。模型在涵盖Unreal模拟环境、开放世界游戏和互联网视频的统一语料库上训练。蒸馏过程将双向扩散模型转换为少步因果生成器，以支持实时自回归生成。

关键结果

实验表明，该方法在长时程场景回忆、精确相机控制、主体一致性、提示驱动世界生成以及稳定的实时开放世界交互方面均表现优异，支持长达一分钟的实时交互生成。

资源

论文