AlayaVista：从全景状态到透视视频的流式世界建模

arXiv 2026 46.3 method

TLDR

AlayaVista：相机可控流式视频世界模型，解耦全景潜在演化与透视渲染，用大规模真实全景视频训练。

评分理由

Strengths: novel architecture decoupling global panorama and local viewport for efficient streaming; introduces large-scale real-world dataset MUGEN. Weaknesses: abstract lacks quantitative results or comparisons; limited evidence of interactive or RL applicability.

Read-first 评分解释

综合优先阅读分 46.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 52。

方法质量 15%

100

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、数据集、实验、指标、结果

近期性 5%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

主题相关性 25%

74.3

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 15%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：工件、数据集

图谱声望 15%

5.7

基于可用 OpenAlex 引用关系构建局部引用图，并计算 PageRank 风格的图谱声望。局部 PageRank：0.0016

引用影响力 15%

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：0

引用速度 10%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：834。

关键词评分

world model

video world model

generative world model

interactive world model

world dynamics prediction

world simulator

model-based reinforcement learning world model

深度分析

创新点

在流式视频世界模型中将全景世界演化与透视观测合成解耦。
使用预训练全景扩展模型，从单张透视图像构建360度场景先验。
将场景演化为相机条件下的全景潜在状态，并通过潜在视口渲染器渲染所需的透视视频潜在表示。
引入透视精化器，用于细节恢复、伪影抑制和超分辨率。
将全景生成适配为分块自回归生成，并将全景生成与透视精化蒸馏为少步过程，以实现高效流式生成。
提出MUGEN，一个大规模真实世界全景视频数据集，包含1,318小时至少为4K的视频以及丰富的语义与几何标注。

方法

AlayaVista首先接收单张透视图像，通过预训练全景扩展模型将其扩展为360度场景先验，并将场景演化为相机条件下的全景潜在状态。潜在视口渲染器将该状态映射为透视视频潜在表示，透视精化器则恢复细节、抑制伪影并执行超分辨率；全景生成器采用分块自回归生成，同时将全景生成与透视精化蒸馏为少步过程。

关键结果

摘要未报告定量实验结果或基准指标；其重点突出MUGEN数据集的规模，即1,318小时分辨率至少为4K的真实世界全景视频。

局限性

摘要中未明确说明局限性。

资源

论文