大型语言模型在维基百科风格综述生成中的应用：NLP概念评估

arXiv 2023 53.8 method

TLDR

评估LLMs生成NLP维基百科综述，GPT-4最优但有错误和评估偏差。

评分理由

Strengths: Clear focus on a specific task (survey generation) with automated benchmarks and human comparison. Weaknesses: Limited to NLP concepts, no real-world deployment or user study; GPT-4 still has factual errors and evaluation bias.

Read-first 评分解释

综合优先阅读分 53.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 53。

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：分析、基准、评估、指标

近期性 8%

65.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2023

主题相关性 42%

44.2

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

方法锚点

排序敏感性

稳定性：volatile；排名波动范围：87。

关键词评分

survey generation

literature review agent

paper writing agent

AI for scientific research

automated research

research automation

autonomous research agent

AI scientist

automated scientific discovery

scientific discovery agent

automated experimentation

experiment design agent

深度分析

创新点

首次全面评估LLMs在专业领域（NLP）生成维基百科风格综述文章的能力
为综述生成精心策划的99个NLP主题基准
比较人工评估与基于GPT的评估，揭示GPT评估中的系统性偏差

方法

多个LLMs（GPT-4、GPT-3.5、PaLM2、LLaMa2）被提示为99个NLP主题生成综述文章。自动基准测试将输出与真实标准进行比较，并进行了人工和GPT-4评估，随后分析了评分行为和偏差。

关键结果

GPT-4在自动指标上以2%-20%的优势优于其他LLMs；GPT生成的综述更具时代性和可读性，但偶尔遗漏细节或包含事实错误；发现基于GPT的评估存在系统性偏差。

局限性

GPT-4偶尔出现失误，遗漏细节或引入事实错误
与人工评分相比，使用GPT-4进行评估存在系统性偏差

资源

论文