Matrix-Game：交互式世界基础模型

arXiv 2025 69.8 method

TLDR

Matrix-Game是交互式世界基础模型，基于2700小时无标注和1000小时动作标注数据，在可控Minecraft生成上超越先前模型。

评分理由

The paper presents a large-scale interactive world model for Minecraft with a two-stage training pipeline, a new annotated dataset, and a comprehensive benchmark. It demonstrates strong empirical gains over prior open-source models and human evaluation. However, scope is limited to Minecraft, and the abstract does not detail architectural innovations or generalization beyond this domain.

Read-first 评分解释

综合优先阅读分 69.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 48。

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、数据集、评估、实验、指标

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

主题相关性 42%

68.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：数据集、GitHub

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：54。

关键词评分

interactive world model

world model

generative world model

video world model

world simulator

world dynamics prediction

model-based reinforcement learning world model

深度分析

创新点

两阶段训练流程：先进行大规模无标注预训练以理解环境，再进行动作标注训练以支持交互式视频生成。
Matrix-Game-MC 数据集，包含超过 2,700 小时的无标注游戏视频片段，以及超过 1,000 小时带有细粒度键盘和鼠标动作标注的标注片段。
以参考图像、运动上下文和用户动作为条件的可控图像到世界生成范式。
拥有超过 170 亿参数的交互式世界基础模型，能够精确控制角色动作和相机移动。
GameWorld Score 基准，用于衡量 Minecraft 世界生成的视觉质量、时间质量、动作可控性和物理规则理解。

方法

Matrix-Game 采用两阶段训练流程：大规模无标注预训练用于环境理解，随后进行动作标注训练以支持交互式视频生成。它以参考图像、运动上下文和用户动作为条件，采用可控图像到世界生成范式，拥有超过 170 亿参数。评估使用 GameWorld Score 基准和双盲人工评估，并与先前的开源 Minecraft 世界模型（包括 Oasis 和 MineWorld）进行比较。

关键结果

Matrix-Game 在 GameWorld Score 的所有指标上均持续优于先前的开源 Minecraft 世界模型（包括 Oasis 和 MineWorld），在动作可控性和物理一致性方面尤其提升显著。双盲人工评估证实其在多样化游戏场景中生成感知真实且精确可控视频方面的优越性。

资源

论文