ScholarCatalyst

数据集分析

是什么让伟大的科学家如此伟大？即使AI系统开始在处理开放问题上取得进展，科学家在感知一个新问题需要哪些先前想法方面仍遥遥领先于AI——这些想法埋藏在不断增长的文献档案中。为了研究这一技能，我们借助那些亲身知道哪些早期工作推动了他们已完成项目的研究人员，以论文作为指向其中思想的指针。通过我们可扩展的自动标注流程，我们邀请了207篇近期计算机科学论文的184位主要作者，标记哪些候选论文已经或可能推动了他们的项目，并为每篇候选论文提供详细理由，从而构建了ScholarCatalyst。我们提出了一项带有作者判断的检索任务：给定一个初始研究问题，仅从项目开始时可获得的文献中检索这些论文。智能体搜索的表现并不优于嵌入检索（0.42 vs. 0.48 Recall@20），尽管它调用的是同一个检索器作为工具。即使是基于Claude Fable 5.1构建的智能体（其可能在训练过程中见过这些已完成论文），也仅达到0.51 R@20。这些结果凸显了新的训练方法的必要性，以使模型具备搜索广泛语料库的专家直觉。我们期望ScholarCatalyst能成为迈向科学智能体的一步，使它们能够接收一个不成熟的想法，并指向其所需要的先前研究。