Awesome Auto Research Hub 论文 · 数据集 · 项目
← 返回论文列表

SurveyLens:面向自动综述生成的多学科感知基准

arXiv 2026 54.4 method

TLDR

SurveyLens是首个多学科感知的自动综述生成基准,评估了10个学科上的11个系统。

评分理由

The paper introduces a novel benchmark with a curated dataset and dual-lens evaluation framework, addressing a gap in cross-discipline ASG assessment. Its strengths include comprehensive system evaluation and practical guidance, but it is limited to survey generation rather than broader scientific discovery.

Read-first 评分解释

综合优先阅读分 54.4,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 55。

近期性 8%
100

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2026

方法质量 25%
70

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:基准、数据集、评估

主题相关性 42%
45.8

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%
38

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:数据集

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性:volatile;排名波动范围:22。

关键词评分

survey generation
10
literature review agent
9
paper writing agent
7
autonomous research agent
6
automated research
5
research automation
5
AI for scientific research
4
automated scientific discovery
3
AI scientist
2
scientific discovery agent
2
automated experimentation
1
experiment design agent
1

深度分析

创新点

  • 首个面向自动综述生成的多学科感知基准(SurveyLens)
  • SurveyLens-1k:包含10个学科、1000篇人工撰写综述的精选数据集
  • 双视角评估框架,结合多学科感知的评分标准与基于参考的人工综述对齐

方法

本文提出了SurveyLens基准,包含来自10个学科的1000篇人工撰写综述,并使用双视角方法(学科特定评分标准与参考综述对齐)评估了11个系统(普通大语言模型、ASG系统、深度研究智能体)。

关键结果

深度研究智能体是唯一在所有10个学科中表现稳健的范式,ASG系统在结构规划方面表现优异,而所有范式在参考文献质量方面均存在不足。

标签

CL