The Matrix：具有实时移动控制的无限视界世界生成
TLDR
实时无限视界世界模拟器，生成720p视频流并支持响应控制，基于AAA游戏和真实世界数据训练。
评分理由
The paper presents a novel approach using limited supervised game data and large-scale unsupervised real-world footage to achieve zero-shot generalization and real-time interactivity. Strengths include continuous long-sequence generation and bridging simulation to real-world applications; weaknesses include reliance on limited supervised data and modest frame rate (16 FPS).
Read-first 评分解释
综合优先阅读分 63.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 59。
研究版图角色
候选论文
排序敏感性
稳定性：volatile；排名波动范围：497。
关键词评分
深度分析
创新点
- 首个基础性的真实世界模拟器，能够生成连续的720p高保真真实场景视频流，并支持第一人称和第三人称视角的实时响应控制
- 从虚拟游戏环境到现实世界场景的零样本泛化，能够模拟训练数据中不存在的场景（例如，宝马X3在办公室环境中行驶）
- 能够以16 FPS生成未剪辑的一小时连续序列，并支持实时交互
方法
该模型基于来自AAA游戏（《极限竞速：地平线5》和《赛博朋克2077》）的有限监督数据，并结合来自真实世界场景（如东京街头）的大规模无监督视频片段进行训练。它以16 FPS生成连续的720p视频流，支持第一人称和第三人称视角的实时用户控制，以实现对多种地形的沉浸式探索。
关键结果
该系统通过模拟宝马X3在办公室环境中行驶（这一场景在游戏和真实世界训练数据中均不存在）展示了零样本泛化能力，并支持连续一小时的沙漠、草原、水域和城市景观穿越。
局限性
- 仅基于两款AAA游戏和一个真实世界场景（东京街头）的有限监督数据进行训练，可能限制了多样性和鲁棒性
- 以16 FPS运行，可能限制高运动场景的流畅性或对延迟敏感的应用
- 未解决长时间序列中可能存在的长期时间一致性或物理合理性问题