基于光流引导帧预测的视频生成模型物理一致性评估基准

数据集分析

近期视频生成模型的进展展示了其作为世界模拟器的潜力，但它们生成的视频往往偏离物理定律，而大多数文本到视频（T2V）基准忽略了这一关键问题。我们提出了一个专门用于评估生成视频物理一致性的基准——PhyCoBench。该基准包含120个提示，覆盖7类物理原理，捕捉视频内容中可观察的关键物理定律。我们在PhyCoBench上评估了四种最先进的（SoTA）T2V模型，并进行了人工评估。此外，我们提出了一种自动评估模型：PhyCoPredictor，一种以级联方式生成光流和视频帧的扩散模型。通过比较自动排序与人工排序的一致性，实验结果表明，PhyCoPredictor目前与人类评估最为一致。因此，它能有效评估视频的物理一致性，为未来模型优化提供见解。我们的基准（包括物理一致性提示、自动评估工具PhyCoPredictor以及生成的视频数据集）已在GitHub上发布：https://github.com/Jeckinchen/PhyCoBench。