MoReGen

数据集分析

尽管文本到视频（T2V）生成在照片级真实感方面取得了显著进展，但生成符合意图且忠实遵循物理原理的视频仍然是一个核心挑战。在本工作中，我们系统研究了牛顿运动控制的文本到视频生成与评估，重点关注物理精度和运动连贯性。我们提出了MoReGen，一种运动感知且基于物理的T2V框架，它集成多智能体大语言模型、物理模拟器和渲染器，以在代码域中从文本提示生成可复现且物理上准确的视频。为了定量评估物理有效性，我们提出物体轨迹对应作为直接评估指标，并构建了MoReSet基准，该基准包含1,275个经过人工标注的视频，涵盖九类牛顿现象，并包含场景描述、时空关系和真实轨迹。利用MoReSet，我们对现有T2V模型进行了实验，通过我们的MoRe指标和现有的基于物理的评估器来评估其物理有效性。结果表明，最先进的模型难以维持物理有效性，而MoReGen为物理连贯的视频合成提供了一条有原则的方向。