指导大语言模型逐步生成科学文献综述

arXiv 2024 42.2 method

TLDR

一种基于提示的逐步方法，利用LLMs生成科学文献综述，成本低且性能有竞争力。

评分理由

The paper presents a practical, cost-effective approach for automated survey generation, with strong empirical results from a competition. However, it is narrowly focused on survey writing rather than broader scientific discovery or experimentation, limiting its scope.

Read-first 评分解释

综合优先阅读分 42.2，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 46。

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：评估

主题相关性 42%

38.3

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

候选论文

排序敏感性

稳定性：volatile；排名波动范围：71。

关键词评分

survey generation

literature review agent

paper writing agent

AI for scientific research

research automation

automated research

AI scientist

automated scientific discovery

autonomous research agent

scientific discovery agent

automated experimentation

experiment design agent

深度分析

创新点

逐步提示设计，依次生成文献综述的标题、摘要、层次化标题和主要内容
通过限制LLM查询中输入和输出长度实现成本高效的生成
从顶层视角生成高层标题

方法

作者设计了一系列提示，引导大语言模型（特别是Qwen-long）以逐步方式生成科学文献综述：首先生成标题，然后是摘要，接着是层次化标题，最后是主要内容。通过限制输入和输出长度来最小化API成本。该方法在NLPCC 2024科学文献综述生成任务中进行了评估。

关键结果

该方法获得第三名，总分仅比第二名低0.03%，软标题召回率为95.84%（排名第二），每篇综述的生成成本为0.1元人民币。

技术栈

Qwen-longLarge Language ModelsPrompt Engineering

资源

论文