SurveyGen：基于质量感知的大型语言模型科学综述生成
TLDR
SurveyGen 提供大规模数据集与质量感知框架，用于评估和改进LLM自动综述生成。
评分理由
The paper's strength lies in its large, annotated dataset and novel quality-aware retrieval framework, enabling systematic evaluation. Weaknesses include the finding that fully automatic generation still underperforms in citation quality and critical analysis, limiting practical applicability.
Read-first 评分解释
综合优先阅读分 59.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 52。
研究版图角色
前沿论文桥接论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：65。
关键词评分
深度分析
创新点
- SurveyGen数据集：包含超过4,200篇人工撰写的综述，242,143篇引用文献及质量相关元数据
- QUAL-SG框架：一种质量感知的综述生成框架，通过将质量指标融入文献检索以选择更高质量的源论文，从而增强标准RAG流程
方法
作者构建了包含质量元数据的人工撰写综述数据集SurveyGen，然后提出了QUAL-SG，一种质量感知的RAG框架，利用质量指标检索和选择更高质量的论文。他们系统评估了最先进的LLM在不同人类参与程度下的表现，从全自动生成到人工引导生成。
关键结果
半自动流程能够取得部分有竞争力的结果，但全自动综述生成仍然存在引用质量低和批判性分析有限的问题。
局限性
- 全自动综述生成仍然存在引用质量低和批判性分析有限的问题。