Genie Sim PanoWorld:通过全景场景建模与仿真实现无限室内3D世界生成流程
TLDR
两阶段前馈流水线:单张360°全景图生成轨迹可控全景视频,重建为可导航3D高斯场景,用于具身AI仿真。
评分理由
The paper presents a clear methodology combining latent video diffusion with 3D reconstruction, and reports experimental comparisons and zero-shot generalization. Weaknesses include limited evidence of interactive or RL-specific capabilities, as the abstract focuses on generation and reconstruction rather than embodied interaction.
Read-first 评分解释
综合优先阅读分 34.8,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 39。
研究版图角色
排序敏感性
稳定性:volatile;排名波动范围:290。
关键词评分
深度分析
创新点
- 两阶段前馈流水线,通过显式、轨迹可控的全景视频将生成与重建连接起来,输入仅为单张360°全景图。
- 通过密集几何扭曲条件,将NavMesh规划的SE(3)漫游轨迹注入潜视频扩散模型。
- 长短轨迹混合训练与基于shortcut模型的自一致性目标,仅需四次无CFG去噪步骤即可生成高保真视频。
- 前馈全景重建器将生成的全景视频提升为3D高斯场景,支持实时自由视角漫游,可作为具身AI的仿真就绪资产。
方法
Genie Sim PanoWorld采用两阶段前馈流水线:首先,潜视频扩散模型根据单张360°全景图生成轨迹可控的全景视频,以NavMesh规划的SE(3)轨迹和密集几何扭曲信息为条件,并通过长短轨迹混合训练和基于shortcut模型的自一致性目标进行优化;其次,前馈全景重建器将生成的全景视频转换为3D高斯场景。在与几何条件基线模型的对比中,该方法在 panoramic video generation 和下游3D重建任务上均进行了评估,包括零样本泛化到未见过的室内场景。
关键结果
Genie Sim PanoWorld在 panoramic video generation 和下游3D重建上均优于几何条件基线模型,并能在四次无CFG去噪步骤下生成视频,且零样本泛化到未见过的室内场景。