AI科学家：迈向全自动开放式科学发现

arXiv 2024 77.7 method

TLDR

提出一个使用LLMs进行全自动科学发现的框架，包括生成想法、编写代码、运行实验、撰写论文和模拟评审。

评分理由

Strengths include a novel comprehensive framework for end-to-end automation, low cost per paper, and an automated reviewer with near-human performance. Weaknesses are the limited scope to ML subfields, reliance on automated evaluation, and potential concerns about novelty and reproducibility.

Read-first 评分解释

综合优先阅读分 77.7，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 97。

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：代码、GitHub

主题相关性 42%

80.8

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：评估、实验、结果

研究版图角色

桥接论文方法锚点复现锚点

排序敏感性

稳定性：volatile；排名波动范围：33。

关键词评分

AI scientist

automated scientific discovery

paper writing agent

scientific discovery agent

autonomous research agent

automated research

automated experimentation

research automation

experiment design agent

AI for scientific research

literature review agent

survey generation

深度分析

创新点

首个全自动科学发现的综合框架
AI科学家智能体，能够自主生成新颖研究想法、编写代码、执行实验、可视化结果并撰写完整科学论文
具有接近人类性能的模拟自动评审过程，用于评估生成的论文
开放式迭代发现过程，可像人类科学社区一样反复发展想法

方法

AI科学家框架使用前沿大型语言模型独立生成研究想法、实现代码、运行实验、可视化结果并撰写完整论文。一个经过验证达到接近人类评分性能的模拟自动评审器对论文进行评估。该方法在三个机器学习子领域得到展示：扩散建模、基于Transformer的语言模型和学习动力学。

关键结果

AI科学家生成的论文在自动评审器的评判下超过了顶级机器学习会议的接受阈值，每篇论文成本低于15美元。自动评审器在评估论文分数方面达到了接近人类的性能。

技术栈

Large Language ModelsDiffusion ModelsTransformersAutomated Review System

资源

论文代码