Holo-World：面向视频世界模型的统一相机、物体与天气控制
TLDR
Holo-World从单张图像统一控制相机、物体和天气，通过数据集和新颖适配器生成视频世界模型。
评分理由
The paper introduces a novel unified framework for controlling camera, object, and weather in video generation from a single image, with a dedicated dataset and decomposition technique. Strengths include addressing isolated controls and weather transfer; weaknesses include limited scope (first-frame-anchored) and lack of explicit real-world deployment details.
Read-first 评分解释
综合优先阅读分 65.2，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 50。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：386。
关键词评分
深度分析
创新点
- 首次提出基于首帧锚定的源到状态设定，使视频世界模型能从单张图像出发，遵循显式相机、物体控制和可选天气指令生成视频。
- 构建HoloStateData数据集，将多样化视频转化为统一控制样本，提供相机、物体和天气的监督信号。
- 提出Unified Scene Adapter，将世界保持和天气迁移分解为独立参数子空间，利用渲染背景、几何缓冲和物体控制维持场景结构，同时建模天气相关外观和粒子效果。
- 提出Scene-Weather Decomposed CFG，分别引导场景和天气残差，增强目标天气效果而不过度放大完整条件。
方法
本文提出Holo-World，一个统一的可控视频世界模型。首先构建HoloStateData数据集，将多样化视频转化为带有相机、物体和天气标注的样本。模型使用Unified Scene Adapter，通过渲染背景、几何缓冲和物体控制维持受控场景结构，同时建模天气相关外观和粒子效果。此外，Scene-Weather Decomposed CFG分别引导场景和天气残差，以增强天气效果而不扭曲场景。
关键结果
定量和定性实验表明，Holo-World在保持精确相机和物体控制及一致场景结构的同时，能将场景迁移到多种目标天气状态，在天气状态生成任务上优于视频到视频的天气编辑基线方法。
局限性
- 该方法需要显式输入相机和物体控制，这在真实应用中可能无法总是获得。
- 天气生成局限于HoloStateData数据集中存在的天气状态，可能缺失罕见或极端条件。
- 该方法仅在天气状态生成任务上评估，未涉及其他环境变化（如光照、季节）的性能。