AutoSciBench

数据集分析

随着智能体的快速发展，现有基准可能趋于饱和，削弱其区分能力并限制其揭示剩余失败模式的作用。尤其在科学领域，构建和更新基准需要大量时间、人力和领域专业知识，使得评估难以与智能体能力的进步保持同步。我们通过探究科学智能体基准能否随智能体能力提升而自动生成并迭代调整来应对这一挑战。我们提出 AutoSciBench 框架，它将每个任务表示为一个高层概念（指定科学领域、数据模态和所需推理方式）以及一个低层配方（指定问题、环境和真实答案的构建与验证方式）。智能体尝试解决每个任务，产生求解轨迹和相应的评判者反馈；AutoSciBench 利用这些反馈修订配方或概念，封堵已发现的捷径，并使任务转向原始数据复核、中间结果解读和证据整合。从已完成改进轨迹中提炼的经验进一步指导新概念生成，使先前任务改进中的经验教训能够为后续基准构建提供参考。以现有基准为起点，我们在计算生物学、材料科学和临床影像三个领域对 AutoSciBench 进行了评估。与人工精选的基准相比，生成的基准在计算生物学和材料科学领域分别将求解器平均准确率降低了 22.4 和 25.5 个百分点；同时，生成的三个领域任务均获得更高的平均质量评分，表明科学智能体评估能够随智能体能力的进步而调整。