Sekai2：从世界探索到交互式世界建模

arXiv 2026 38.8 benchmark

TLDR

提出Sekai2：一个带相机轨迹、分层标注与全景重访序列的大规模真实世界视频数据集，用于交互式世界建模。

评分理由

The paper presents a substantial dataset with long videos, camera trajectories, semantics, and looped panoramic observations, which is highly relevant for world model research. However, it lacks downstream experiments or model evaluations, relying only on dataset construction and statistics.

Read-first 评分解释

综合优先阅读分 38.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 47。

近期性 5%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 15%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：数据集、指标、结果

主题相关性 25%

67.1

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 15%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：数据集

图谱声望 15%

5.7

基于可用 OpenAlex 引用关系构建局部引用图，并计算 PageRank 风格的图谱声望。局部 PageRank：0.0016

引用影响力 15%

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：0

引用速度 10%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：423。

关键词评分

world model

interactive world model

video world model

generative world model

world dynamics prediction

world simulator

model-based reinforcement learning world model

深度分析

创新点

提出 Sekai2，一个面向交互式世界建模的多源真实世界视频数据集，每个片段都配有相机轨迹和分层的时间对齐语义标注。
包含982个全景序列，沿带循环和重访的非线性轨迹采集，提供同一地点跨时间与视角的重复观测，以支持持久场景表征、长期空间记忆和几何一致的世界模型。
提供区分主体运动、环境动态、静态场景内容和相机行为的分层标注，产生649,597个时间对齐片段。
有意将数据集偏向持续观察，在统一的120秒切分下，43,594个片段达到完整两分钟，占全部视频的51.4%。

方法

Sekai2 将来自113个国家或地区的10,428个源视频聚合为128,892个片段，总计2,826小时；每个片段包含公开的相机轨迹，以及围绕主体运动、环境动态、静态场景内容和相机行为的分层标注。进一步引入982个沿含循环和重访的非线性轨迹拍摄的全景序列，以提供同一地点的重复观测。语料库规模的分析评估了姿态-字幕覆盖、地理与语义多样性、相机轨迹变化性以及时间描述的非冗余性。

关键结果

该数据集包含来自113个国家或地区的10,428个源视频的128,892个片段，总计2,826小时；其中43,594个完整120秒片段占全部视频的51.4%，649,597个时间对齐片段，以及982个全景循环/重访序列。语料库规模的分析表明其具有完整的姿态-字幕覆盖、广泛的地理与语义多样性、多样的相机轨迹以及高度非冗余的时间描述。

资源

论文