⌁ Awesome Auto Research Hub 论文 · 数据集 · 项目
← 返回论文列表

ScholarCatalyst:一个用于检索启发新研究论文的基准

arXiv 2026 35.5 benchmark

TLDR

ScholarCatalyst基准利用作者标注测试检索启发文献,智能体检索性能不及嵌入检索。

评分理由

Strengths include a realistic, author-annotated benchmark and clear empirical comparison of retrieval methods. Weaknesses include a narrow CS-paper scope and limited evidence about how retrieval relates to broader scientific discovery.

Read-first 评分解释

综合优先阅读分 35.5,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 28。

近期性 8%
100

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2026

方法质量 25%
40

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:基准、结果

可复现性 25%
30

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:无

主题相关性 42%
23.3

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

研究版图角色

前沿论文

排序敏感性

稳定性:volatile;排名波动范围:65。

关键词评分

AI for scientific research
7
literature review agent
5
autonomous research agent
4
scientific discovery agent
4
research automation
3
automated scientific discovery
2
automated research
2
AI scientist
1
survey generation
0
automated experimentation
0
experiment design agent
0
paper writing agent
0

标签