自动化研究如何被评估？基准与评估实践综述
TLDR
自动化研究系统六个目标领域的基准与评估实践综述：比较任务构建、证据、评估者与评分以指导评估设计。
评分理由
The paper provides a structured synthesis of evaluation designs for automated research systems, with clear categorization across targets and practical recommendations. Its main limitation is that, as a survey, it contributes no new empirical experiments or datasets of its own.
Read-first 评分解释
综合优先阅读分 67.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 71。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：28。
关键词评分
深度分析
创新点
- 综述了自动化研究评估的六个目标：文献综述、研究构思、可执行工作流、学术写作与交流、自动同行评审、端到端研究。
- 从任务构建、证据来源、评估者和评分程序四个维度比较评估设计。
- 综合出三条反复出现的评估经验：输出检查、过程检查和人工研究具有互补性；评估者校准针对特定属性；资源预算和尝试选择影响性能解读。
- 识别了诊断性评估设计，并将研究结果转化为针对特定评估场景的报告和审计建议。
方法
这是一篇综述论文，梳理并组织了关于自动化研究系统评估的现有基准和研究。它考察六个研究任务领域，并从任务构建、证据来源、评估者和评分程序方面比较其评估设计。综合聚焦于评估设计和证据，而非引入新的实验结果或数据集。
关键结果
该综述强调三条反复出现的经验：输出检查、过程检查和人工研究提供互补信息；评估者校准针对所评估的属性；资源预算和尝试选择是解读性能比较的重要组成部分。它还识别了诊断性评估设计和现有证据中的记录缺口。
局限性
- 摘要提到了支持性证据中的记录缺口，但未具体列举。
- 摘要未说明该综述方法或被评评估的明确局限性。