PhyCo

数据集分析

现代视频扩散模型在外观合成方面表现出色，但仍难以保证物理一致性：物体漂移、碰撞缺乏真实反弹，材料响应往往与其潜在属性不匹配。我们提出PhyCo，一个将连续、可解释、基于物理的控制引入视频生成的框架。我们的方法整合三个关键组成部分：(i) 一个大规模数据集，包含超过10万个逼真模拟视频，其中摩擦、恢复系数、变形和力在不同场景中系统变化；(ii) 使用基于像素对齐的物理属性图进行条件控制的ControlNet，对预训练扩散模型进行物理监督微调；(iii) VLM引导的奖励优化，其中微调的视觉语言模型通过定向物理查询评估生成视频并提供可微分反馈。这种结合使生成模型能够通过物理属性的变化生成物理一致且可控的输出，且在推理时无需任何模拟器或几何重建。在Physics-IQ基准上，PhyCo显著提高了强基线的物理真实性，人工研究也确认了对物理属性更清晰、更忠实的控制。我们的结果展示了通向物理一致、可控生成视频模型的可扩展路径，这些模型能够泛化超越合成训练环境。