4Director

数据集分析

精确控制相机与物体运动对于专业视频制作至关重要。现有方法要么通过图像平面线索进行粗略的物体控制，这些线索在深度和旋转上具有歧义；要么通过3D轨迹和团块进行控制，但这些表示缺乏完整的几何信息，并会在视角变化时丧失一致性。我们提出了4Director，一种以显式4D场景表示为条件的视频世界模型：每个物体从输入图像中重建一次，作为规范网格，并按每帧一个指定的刚性变换进行移动。该表示提供了直观的3D控制界面，并防止未观察到的几何体在每一帧被独立重新生成。我们将受控场景渲染为深度视频，并引入Motion Adapter，将该几何支架转换为视频，同时合成视图一致的外观、光照和非刚性动态。为了训练，我们构建了RealCOD-Rigid，这是一个包含20,774个片段的新数据集，通过我们的自动管线标注了刚性3D场景。我们进一步引入了Identity-Gated IoU (IG-IoU)，它联合评估对指定物体运动的遵循程度和物体身份的保持。实验表明，4Director在视觉质量以及相机和物体控制方面始终优于先前方法。