超越观看与搜索：面向以视频为中心的深度研究报告的智能体基准测试
TLDR
提出OmniDR-Bench和Omni-ARTs，用于评测视频中心的深度研究报告智能体，覆盖50个多语言真实任务。
评分理由
The paper addresses a novel benchmark gap with a carefully designed evaluation framework and real-world tasks. Its main limitation is that current agents still achieve modest performance, indicating substantial room for improvement.
Read-first 评分解释
综合优先阅读分 53，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 35。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：139。
关键词评分
深度分析
创新点
- 提出视频中心深度研究报告生成任务：智能体围绕给定视频生成与相关视频片段链接的交互式报告。
- 提出 OmniDR-Bench 基准，包含 19 个真实世界子类别的 50 个中英文任务及 6,414 条评估标准。
- 提出 Omni Atomic Rubric Trees (Omni-ARTs)，包含三个维度、23 个共享方向和任务特定的原子级二值判定标准。
- 提出 Audited Rubric Construction (ARC)，通过独立证据收集、自动检查、行为校准和迭代人工审查构建评分树。
- 描述了面向视频中心深度研究智能体的基于技能的流程。
方法
该基准定义如下任务：给定视频和用户请求，智能体识别研究问题、检索外部多模态证据，并生成链接到相关视频片段的交互式报告。评估采用由 ARC 构建的 Omni-ARTs 评分树，并在 19 个真实世界子类别的 50 个双语任务中评估 18 种智能体配置。
关键结果
在 18 种智能体配置中，最佳系统得分 63.3（满分 100）。当前智能体仍需要更广泛的内容覆盖、跨模态更强的因果与逻辑分析，以及更准确的引用支持。
局限性
- 当前智能体仍需要更广泛的内容覆盖。
- 需要更强的跨模态因果与逻辑分析。
- 需要更准确的引用支持。