面向组学数据驱动的生物学发现的AI科学家基准测试

arXiv 2025 76.8 method

TLDR

介绍BAISBench，一个在真实单细胞转录组数据上评估AI科学家进行细胞注释和生物学发现的基准。

评分理由

The paper addresses a clear gap by providing a realistic, data-driven benchmark for AI scientists in biology, using real datasets and published conclusions. Its main limitation is the narrow focus on single-cell omics, which may not capture broader biological discovery tasks.

Read-first 评分解释

综合优先阅读分 76.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 70。

方法质量 25%

100

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、基准、数据集、评估、实验、结果

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：数据集、GitHub

主题相关性 42%

58.3

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

研究版图角色

前沿论文桥接论文方法锚点复现锚点

排序敏感性

稳定性：volatile；排名波动范围：30。

关键词评分

AI scientist

automated scientific discovery

AI for scientific research

scientific discovery agent

autonomous research agent

automated research

research automation

automated experimentation

literature review agent

experiment design agent

survey generation

paper writing agent

深度分析

创新点

引入BAISBench，一个在真实单细胞转录组数据集上评估AI科学家的基准，包含两个任务：细胞类型注释和基于已发表研究选择题的科学发现。
提供使用六名研究生水平生物信息学家的人类表现基线，以对比AI科学家的表现。

方法

BAISBench包含15个专家标注的单细胞转录组数据集用于细胞类型注释，以及从41篇已发表单细胞研究中衍生的193道选择题。评估了几个代表性的AI科学家，并由六名研究生水平的生物信息学家完成相同任务以建立人类基线。

关键结果

当前的AI科学家尚未达到完全自主的生物学发现，但已展现出支持数据驱动生物学研究的巨大潜力。

资源

论文代码