ST-Gen4D: 将4D时空认知嵌入世界模型用于4D生成

arXiv 2026 51.1 method

TLDR

ST-Gen4D将4D时空认知嵌入世界模型，利用图和扩散实现一致的4D生成。

评分理由

The paper proposes a novel framework integrating spatiotemporal cognition with a world model for 4D generation, addressing both global and local dynamics. However, the abstract lacks details on empirical evaluation and comparison with baselines, and the world model's role is not fully clarified.

Read-first 评分解释

综合优先阅读分 51.1，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 32。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

引用影响力 18%

74.3

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.74348546

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：数据集、实验

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码、数据集

主题相关性 29%

45.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文桥接论文

排序敏感性

稳定性：volatile；排名波动范围：237。

关键词评分

world model

world dynamics prediction

generative world model

video world model

world simulator

interactive world model

model-based reinforcement learning world model

深度分析

创新点

时空表示：将多种模态编码为多个表示作为特征基础
时空认知：将表示塑造成全局外观图和局部动态图，通过语义桥接的时空融合得到4D认知图
时空推理：利用世界模型基于4D认知推导未来状态
时空生成：利用推导的认知作为条件引导潜在扩散生成4D高斯
引入ST-4D数据集，聚合公开4D数据集和自建子集

方法

ST-Gen4D是一个基于四个关键设计的4D生成框架：时空表示（将多种模态编码为多个表示）、时空认知（构建全局外观图和局部动态图，通过语义桥接融合为4D认知图）、时空推理（利用世界模型从认知图预测未来状态）和时空生成（以认知为条件进行潜在扩散生成4D高斯）。该模型在提出的ST-4D数据集上进行训练和评估，该数据集聚合了公开4D数据和自建子集。

关键结果

大量实验表明，ST-Gen4D在3D和4D生成任务上均具有优越性，相比现有方法在结构合理性和拓扑一致性上有所提升。

资源

论文