先学会评估再改进：面向自动科研智能体的自动评分标准归纳
TLDR
AutoSciRub 在执行前归纳任务专属可执行评分标准，指导自主科研智能体，在基准上提升 2-3 分。
评分理由
The paper addresses the important problem of underspecified research tasks and proposes a novel rubric-induction method to make implicit requirements explicit. Its strengths include a clear framework and consistent empirical gains across multiple LLMs and harnesses. Limitations include reliance on a single benchmark and partial results on a 20-task subset.
Read-first 评分解释
综合优先阅读分 68.7，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 66。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：44。
关键词评分
深度分析
创新点
- 提出 AutoSciRub，一个评估优先框架，在研究执行前归纳任务特定的可执行评分标准。
- 将未明确说明的研究指令分解为原子化科学目标，并锚定到相关文献和任务可见数据中。
- 综合出具体、可操作且可验证的标准，使隐含的实验和证据要求显式化。
- 使用评分标准引导的标准级验证和迭代修订，以识别未满足的标准并改进研究报告及其支持产物。
方法
AutoSciRub 首先将未明确说明的指令分解为原子化科学目标，在文献和任务可见数据中对其进行锚定，并将可验证的标准综合为可执行的评分标准。随后，该评分标准用于指导研究执行、标准级验证以及报告和产物的迭代修订。方法在 ResearchClawBench 和 AstaBench E2E Discovery 随机抽样的 20 个任务子集上，使用多个骨干 LLM 和智能体运行框架进行评估，以平均分数提升和任务完成数作为指标。
关键结果
在 ResearchClawBench 上，AutoSciRub 提升了所有测试配置：在固定 Codex 运行框架下，三个骨干 LLM 的平均提升为 2.08 分；在固定 DeepSeek-V4-Flash 骨干下，三个智能体运行框架的平均提升为 2.95 分。在 AstaBench E2E Discovery 的 20 个任务子集上，它在三个智能体运行框架上平均提升 16.8 分，同时保持或增加了成功完成的任务数量。
局限性
- 对 AstaBench E2E Discovery 的评估基于随机抽样的 20 个任务子集，而非完整基准。