OuroWorld:让任意3D世界活现为多样、无限循环的3D动态影像
TLDR
OuroWorld将静态3D高斯场景转化为任意视角下多样运动、无缝循环的3D动态影像,并在39个场景上优于基线。
评分理由
The paper proposes a novel mask-free framework for animating static 3D scenes with looping motion, backed by multiple evaluations including user studies. However, the method depends on imperfect generated reference videos and ground-truth-free metrics, and its generalizability to complex real-world dynamics remains uncertain.
Read-first 评分解释
综合优先阅读分 35.2,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 36。
研究版图角色
排序敏感性
稳定性:volatile;排名波动范围:368。
关键词评分
深度分析
创新点
- 无掩码框架,可将任意静态3D Gaussian Splatting场景转化为具有多样、任意视角无限循环运动的3D动态影像。
- 基于视觉语言模型引导的参考视频合成,推断合理动态并将其提升并补全为多视角视频。
- 不一致鲁棒周期4DGS表示,采用傅里叶级数形变场,从结构上保证循环。
- 锚定参考视图的Grounded Drift Field,吸收不完美监督中的跨视角不一致。
- 将动态场景建模从先前的欧拉流体类运动扩展到一般形变、物体运动和光照变化。
- 提出无需真值的评估协议,涵盖生动性、自然性、循环接缝一致性和场景质量。
方法
OuroWorld以静态3D Gaussian Splatting场景为输入,用视觉语言模型推断合理动态,引导视频模型合成参考视频,再将其提升并补全为多视角视频。通过Inconsistency-Robust Periodic 4DGS学习动态场景:傅里叶级数形变场在结构上保证循环,Grounded Drift Field锚定参考视图以吸收跨视角不一致。在39个重建和生成场景上采用无真值指标和用户研究进行评估。
关键结果
在39个重建和生成场景上,OuroWorld在所有基线上表现更好,并在生动性、自然性、循环接缝一致性和场景质量方面赢得70.8%-99.0%的用户研究比较。
局限性
- 从不完美监督中学习,因为参考视频和提升的多视角视频是合成而非真实观测。