LABBench2：面向AI系统进行生物学研究的改进基准测试

arXiv 2026 68.7 method

TLDR

LABBench2包含近1900项生物学任务，衡量AI真实能力，难度较前代显著提升。

评分理由

The paper introduces a well-structured benchmark with clear methodology and empirical evaluation, but lacks detail on task diversity and potential biases. Its strength lies in addressing real-world scientific tasks, though it remains domain-specific.

Read-first 评分解释

综合优先阅读分 68.7，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 65。

近期性 8%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：数据集、GitHub

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、数据集、评估

主题相关性 42%

54.2

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

研究版图角色

前沿论文桥接论文方法锚点复现锚点

排序敏感性

稳定性：volatile；排名波动范围：52。

关键词评分

AI for scientific research

automated scientific discovery

scientific discovery agent

AI scientist

autonomous research agent

automated research

research automation

automated experimentation

experiment design agent

literature review agent

survey generation

paper writing agent

深度分析

创新点

引入LABBench2基准，包含近1900项任务，用于衡量AI在生物学研究中的真实世界能力，从LAB-Bench演进而来，背景更真实。
公开发布任务数据集和评估工具，以促进社区使用。

方法

该基准包含近1900项任务，延续了LAB-Bench对类似能力的衡量，但置于更真实的背景下。评估当前前沿模型在LABBench2上的性能，并与LAB-Bench上的性能进行比较，以量化难度提升。

关键结果

前沿模型在两个基准上的表现均有显著提升，但LABBench2难度明显更高，各子任务中模型特定准确率下降幅度为-26%至-46%，凸显了剩余的性能差距。

资源

论文代码