AblationBench：评估实证人工智能研究中消融实验的自动规划

arXiv 2025 73.9 method

TLDR

提出AblationBench基准，用于评估LM智能体在AI研究中规划消融实验，发现当前LM表现不如人类。

评分理由

Strengths: Provides a concrete benchmark with two tasks (AuthorAblation, ReviewerAblation) and automatic evaluation, revealing clear limitations of current LMs. Weaknesses: Focuses narrowly on ablation planning, not broader scientific discovery; the benchmark's generalizability to other research domains is unclear.

Read-first 评分解释

综合优先阅读分 73.9，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 69。

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：消融、基准、评估、实验

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：代码、GitHub

主题相关性 42%

57.5

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

研究版图角色

前沿论文方法锚点复现锚点

排序敏感性

稳定性：volatile；排名波动范围：37。

关键词评分

experiment design agent

automated experimentation

autonomous research agent

AI for scientific research

research automation

AI scientist

automated research

scientific discovery agent

automated scientific discovery

literature review agent

paper writing agent

survey generation

深度分析

创新点

引入了AblationBench，一个用于评估实证人工智能研究中消融实验自动规划的基准套件。
两个互补任务：AuthorAblation（从方法部分提出消融实验）和ReviewerAblation（在完整论文中发现缺失的消融实验）。
基于LM的评判器用于自动评估消融规划。
发现思维链提示在这些任务上优于基于智能体的方法。
观察到作者任务和审稿人任务之间存在相反的性能趋势，归因于模型基础差异。

方法

AblationBench包含83个AuthorAblation实例和350个ReviewerAblation实例，使用基于LM的评判器进行评估。在前沿语言模型上测试两个任务，比较思维链提示与基于智能体的设置。

关键结果

表现最佳的LM系统平均仅识别出45%的原始消融实验，低于人类水平。思维链提示优于基于智能体的方法，并观察到作者任务和审稿人任务之间存在相反的性能趋势。

局限性

当前LM在消融识别上仅达到45%的召回率，仍低于人类水平。
作者任务和审稿人任务之间的相反性能表明存在基础差异，限制了模型行为的一致性。

技术栈

Language Models (LMs)Chain-of-Thought PromptingAgent-based framework

资源

论文代码