WhatWorkedBench：AI智能体实验理解的基准测试
TLDR
提出WhatWorkedBench基准，通过代码与测量预测组件变化效应，衡量AI智能体的实验理解。
评分理由
The paper presents a novel benchmark with exhaustive CPU-executed reference effects and evaluates agent measurement strategies, showing improvements via Gaussian process fitting and configuration equivalence encoding. The abstract is strong on empirical evaluation but does not discuss limitations or compare with broader autonomous discovery benchmarks.
Read-first 评分解释
综合优先阅读分 60.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 65。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：20。
关键词评分
深度分析
创新点
- 提出WhatWorkedBench基准，将AI智能体的实验理解定义为在预算有限的实验后对组件变化影响进行预测的准确性。
- 定义了响应面评估协议：智能体检查代码、选择测量点，并预测所有组件设置配置的得分。
- 提供基于穷举CPU计算的组件变化参考效应，覆盖36个任务、30个数据源、8种工作流类型和1,248条配置记录。
- 评估了多种推断方法，包括配对效应岭回归、基于智能体观测的高斯过程拟合以及代码等价性编码。
方法
智能体检查任务代码，在预算限制下选择测量点，并提交一个预测所有组件设置得分的响应面。穷举式CPU执行提供在固定其他组件时更改每个组件的参考效应，覆盖来自30个数据源和8种工作流类型的36个任务。评估使用8个族共4,206条数值控制记录和原始6个族的108次智能体回合，指标包括效应误差、相对真实效应大小的准确率、族宏恢复和GP恢复。
关键结果
配对效应岭回归在22个数据源中的15个上选出最优配置，并在3个数据源上将每个效应误差限制在得分范围的10%以内。将高斯过程拟合到智能体观测上，效应恢复在原始Flash队列中从0.632提升至0.698，在额外队列中从0.621提升至0.720；在6个已提交任务上，相同观测的GP将族宏恢复从0.303提升至0.455；在6个工作流上，代码等价性编码将GP恢复从0.248提升至0.462。