EvalResearchBench：AI智能体能否为递归自我改进构建自己的反馈？
TLDR
提出EvalResearchBench，用于测试AI智能体能否自主构建评估反馈以支持递归自我改进。
评分理由
The paper addresses a well-motivated problem with a broad empirical study across multiple agents, models, and target benchmarks, and it honestly reports limitations such as human baseline competitiveness and evaluation failures. However, the abstract provides limited detail on task construction and metric definitions, making the exact novelty and reliability of the benchmark harder to fully assess.
Read-first 评分解释
综合优先阅读分 59.6，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 54。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：78。
关键词评分
深度分析
创新点
- 引入EvalResearchBench（ERB），一个面向递归自我改进场景中自主评估研究的基准。
- 将评估设计构建为智能体流程：智能体在固定时间和API预算下，通过试点测试选择或综合任务、实现评分器并对其修订。
- 使用分数一致性和成对一致性指标，将AI生成的评估器与14个目标基准进行比较。
- 对9种研究者配置和13个候选模型进行基准测试，包括与人工设计的公开任务基线和密封目标分析进行比较。
方法
给定目标材料、开发参考、候选API以及固定的时间和API预算，一个研究者智能体通过选择或综合任务并实现评分器来构建可执行评估器，用于编程、协作和推理；在冻结之前通过试点测试进行修订。研究考察9种研究者配置和13个候选模型，将每个冻结的评估器与14个目标基准在分数一致性和成对一致性上进行比较。此外，还与人工设计的公开任务样本进行比较，并使用对研究者隐藏的密封目标来测试泛化能力。
关键结果
最佳生成评估器对约75%的候选对的排序与目标基准一致，低于目标基准间分歧设定的91%上限。没有任何研究者配置在所有指标上领先；开发目标上表现最好的评估器在密封目标上并非最佳；人工设计的样本仍是强基线；记录执行成本最低的评估器取得了最高的成对一致性。
局限性
- 最佳评估器对候选对的排序仅约75%与目标基准一致，低于目标基准分歧设定的91%上限。
- 没有一种研究者配置在所有指标上领先。
- 在开发目标上表现最好的评估器，在向研究者隐藏的密封目标上并非最佳。
- 人工设计的公开任务样本仍然是强基线。
- 生成的评估器仍可能截断答案、耗尽评估预算，或让少数几个问题主导某一领域的得分。