StreamEval

数据集分析

随着流式视频生成技术的进步，实现与生成视频的实时交互变得越来越重要。我们推出 StreamEval，一个统一的交互式流式视频生成基准测试，涵盖五项任务：虚拟形象对话、虚拟形象表演、世界生成、指令编辑和参考编辑。StreamEval 包含 300 个脚本化测试用例，时长从 15 秒到 300 秒不等，每个用例指定初始资产、逐步到达的多模态请求，以及对状态变化和内容保留的明确要求。性能沿四个评估维度进行评估：任务执行、状态一致性、视觉保真度和音视频协调性，并通过十个任务特定指标以 0-100 分制实例化。我们在 300 个测试用例上评估了 37 个不同模型，发现高视觉质量和身份保持并不一定与可靠的请求执行或持续的状态一致性相吻合。特别是，请求执行仍然具有挑战性：在七个虚拟形象表演模型中，Following 的最高任务特定得分为 36.90；在文本条件世界生成中，Following 的最高得分为 25.93；在三个报告的参考编辑模型中，Edit Success 的最高得分为 15.00。这些发现表明，在时间限制和内容保留约束下可靠地执行请求，是推进全模态实时交互系统的核心挑战。排行榜可在 https://streameval.ai 获取。