Awesome Auto Research Hub 论文 · 数据集 · 项目
← 返回论文列表

SurveyForge:关于自动调查写作的大纲启发式、记忆驱动生成和多维评估

arXiv 2025 50.6 method

TLDR

SurveyForge通过大纲启发式、记忆驱动生成和多维评估改进了自动综述写作,优于先前方法。

评分理由

The paper introduces a novel approach to address quality gaps in LLM-generated surveys, with strengths in outline analysis and citation accuracy. However, it focuses narrowly on survey writing rather than broader scientific discovery, and evaluation relies on win-rate comparisons without extensive real-world deployment.

Read-first 评分解释

综合优先阅读分 50.6,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 53。

近期性 8%
86.7

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2025

方法质量 25%
70

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:基准、评估、实验

主题相关性 42%
44.2

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%
30

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:无

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性:volatile;排名波动范围:31。

关键词评分

survey generation
9
literature review agent
8
paper writing agent
8
AI for scientific research
6
research automation
6
automated research
5
autonomous research agent
4
automated scientific discovery
3
AI scientist
2
scientific discovery agent
2
automated experimentation
0
experiment design agent
0

深度分析

创新点

  • 基于人类撰写大纲的逻辑结构和检索到的领域文章的大纲生成启发式方法
  • 利用学者导航代理从记忆中检索高质量论文以进行内容生成和精炼的记忆驱动生成方法
  • SurveyBench:一个包含100篇人类撰写综述的多维评估基准,用于在参考文献、大纲和内容质量三个维度上进行胜率比较

方法

SurveyForge首先通过分析人类撰写大纲的逻辑结构并结合检索到的领域相关文章来生成大纲。然后,学者导航代理从记忆中检索高质量论文,自动生成并精炼综述内容。评估在SurveyBench上进行,该基准包含100篇人类撰写的综述,通过胜率比较在参考文献、大纲和内容质量三个维度上进行评估。

关键结果

SurveyForge在SurveyBench基准上优于之前的工作如AutoSurvey。

技术栈

LLM检索学者导航代理

标签

CL