CodeScientist：基于代码实验的端到端半自动化科学发现

arXiv 2025 64.1 method

TLDR

CodeScientist通过文章和代码块的遗传搜索实现半自动化科学发现，产出19项发现并经多维度评估。

评分理由

The paper presents a novel ASD system that combines genetic search with code-based experimentation, addressing limitations of prior work by exploring broader design spaces and using multi-faceted evaluation including code review and replication. However, the system is semi-automated and limited to the domain of agents and virtual environments, and the evaluation still relies on human judgment.

Read-first 评分解释

综合优先阅读分 64.1，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 66。

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、评估、实验、指标

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

主题相关性 42%

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：工件、代码

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：33。

关键词评分

automated scientific discovery

automated experimentation

scientific discovery agent

automated research

AI for scientific research

research automation

AI scientist

autonomous research agent

experiment design agent

literature review agent

survey generation

paper writing agent

深度分析

创新点

将构思和实验构建视为对研究文章和定义领域内常见动作的代码块组合的遗传搜索。
超越会议式评审的多维度评估，包括代码评审和复现尝试。
产生涵盖新任务、智能体、指标和数据的发现，超越基准优化。

方法

CodeScientist采用遗传搜索范式，联合组合研究文章和代码块（定义常见动作，如提示语言模型）以生成想法并构建实验。它在智能体和虚拟环境领域对机器生成的想法进行了数百次自动化实验。

关键结果

系统返回了19项发现，其中6项在外部评审、代码评审和复现尝试后被判定为至少具有最低限度的合理性和增量新颖性。这些发现涵盖了新任务、智能体、指标和数据。

局限性

19项发现中仅有6项被判定为合理且增量新颖，表明许多输出并不合理或新颖。
该系统是半自动化的，并非完全自主。
评估仅限于智能体和虚拟环境领域。

技术栈

genetic searchcodeblockslanguage model

资源

论文