自动化研究如何被评估？基准与评估实践综述

数据集分析

自动化研究系统支持文献综合、构思、实验、写作和同行评审，但对其评估分散在任务、基准和研究中，难以直接比较。我们从评估设计与证据的角度审视该文献，涵盖六个目标：文献综合、研究构思、可执行工作流、学术写作与交流、自动同行评审以及端到端研究。我们比较任务构建、证据来源、评估者与评分程序，以阐释不同设计所评估的能力。我们的综合凸显三个反复出现的经验：输出检查、过程检查和人类研究提供互补信息；评估者的校准针对所评估的具体属性；资源预算和尝试选择是解释性能比较的必要组成部分。我们识别诊断性评估设计和支撑证据中已记录的空白，并将这些比较转化为针对特定评估环境的报告与审计建议。本综述帮助读者梳理现有评估、选择合适基准并设计后续研究。