WorldReward

数据集分析

相机条件世界模型生成交互式视频，其中指令动作应引发预期的场景变化，同时保持外观、几何和时间动态的一致性。现有奖励分别评估这些要求：基于几何的奖励估计轨迹执行情况，但无法判断所执行运动的视觉质量；而基于图像的奖励衡量帧质量，却无法捕捉动作执行或时间动态。我们假设视觉语言模型（VLM）为将动作与其视觉结果关联起来提供了共享的推理空间。然而，将完整的长时间视频与其完整动作序列进行比较会形成冗长且有噪声的上下文，其中短暂出现的局部动作证据可能被遗漏或稀释。我们提出 WorldReward，一种基于 VLM 的成对偏好奖励模型，统一了相机条件世界模型的动作一致性和视觉质量评估。WorldReward 将成对视频分解为与动作对齐的片段，将每个片段组织为结构化的视觉证据，并通过投票将片段级决策聚合为独立的视频级动作偏好和视觉质量偏好。为训练该模型，我们构建了一个大规模、推理增强的偏好数据集，使用前沿 VLM 生成的结构化判断，并通过基于工具的智能体审计和针对性人工审查进行精炼。我们进一步引入 WorldReward-Bench，一个人工标注的基准，衡量奖励模型在动作一致性、外观质量和运动质量方面与人类偏好的一致性。WorldReward 在所有三个维度上均达到最高一致性，分别超过 GPT-5.5 3.42、1.45 和 3.56 个百分点。当用于 HY-WorldPlay 1.5 的强化学习后训练时，它在短至长期范围内持续改善动作执行和视觉质量。