超越最后一帧

数据集分析

近期视频生成的突破展示了一种新兴能力，称为链式帧（Chain-of-Frames, CoF）推理，即模型通过生成连续帧来解决复杂任务。尽管这些模型在生成式视频推理（Generative Video Reasoning, GVR）方面展现出潜力，但现有的评估框架通常依赖单帧评估，这可能导致“结果欺骗”（outcome-hacking），即模型通过错误过程得出正确结论。为解决这一问题，我们提出了一种过程感知的评估范式。我们引入了VIPER，一个覆盖时间、结构、符号、空间、物理和规划推理等16项任务的综合基准。此外，我们提出了一种新指标——过程-结果一致性（Process-outcome Consistency, POC@r），该指标利用VLM-as-Judge（以视觉语言模型为评审）与分层评分标准，同时评估中间步骤的有效性和最终结果的正确性。实验表明，最先进的视频模型POC@1.0得分仅约20%，并表现出显著的结果欺骗现象。我们进一步探索了测试时扩展（test-time scaling）和采样鲁棒性的影响，揭示了当前视频生成与真正的通用视觉推理之间存在巨大差距。我们的基准已发布于 https://github.com/RUCAIBox/VIPER。