ResearchAgent：基于大型语言模型的科学文献迭代研究思路生成

arXiv 2024 57.6 method

TLDR

ResearchAgent利用LLMs通过定义问题、提出方法和设计实验，并借助评审反馈迭代生成新颖研究思路。

评分理由

The paper presents a clear methodology combining LLMs with academic graphs and knowledge stores for idea generation, validated across multiple disciplines. Strengths include iterative refinement and human-aligned reviewing agents; weaknesses may include reliance on LLM quality and limited scope to idea generation rather than full automation.

Read-first 评分解释

综合优先阅读分 57.6，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 76。

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：评估、实验、结果

主题相关性 42%

63.3

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

桥接论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：100。

关键词评分

AI for scientific research

autonomous research agent

experiment design agent

research automation

AI scientist

automated research

scientific discovery agent

automated scientific discovery

automated experimentation

literature review agent

paper writing agent

survey generation

深度分析

创新点

从核心论文自动生成研究思路（问题、方法、实验），并通过LLM评审代理进行迭代优化
通过学术图中的相关出版物和从论文中挖掘的共享概念知识库中的实体进行增强
多个基于LLM的评审代理，具有人类偏好对齐，并通过提示从人类判断中引出评估标准

方法

从一篇核心科学论文出发，ResearchAgent检索相关出版物和概念实体，然后生成包含问题、方法和实验的研究思路。多个基于LLM的评审代理，与人类偏好对齐并通过人类判断标准提示，提供迭代反馈以优化思路。该系统在跨学科出版物上使用人类和基于模型的评估进行验证。

关键结果

ResearchAgent生成的思路在多个科学学科的人类和基于模型的评估中被评为新颖、清晰和有效。

技术栈

Large Language Models (LLMs)Academic GraphKnowledge StoreLLM-based ReviewingAgents

资源

论文