⌁ Awesome Auto Research Hub 论文 · 数据集 · 项目
← 返回论文列表

PaperGym:以评分标准为中心的科研计划生成进化框架

arXiv 2026 58 method

TLDR

PaperGym将论文转化为基于评分标准奖励的强化学习环境,提升研究计划生成。

评分理由

The paper introduces a novel framework for research-plan generation and demonstrates clear gains over baselines with multiple models and benchmarks. However, the abstract does not provide details on limitations, real-world deployment, or failure cases, and some broader claims rely on benchmark-specific results.

Read-first 评分解释

综合优先阅读分 58,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。

近期性 8%
100

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2026

方法质量 25%
80

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:基准、数据集、评估、实验

主题相关性 42%
48.3

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%
38

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:数据集

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性:volatile;排名波动范围:28。

关键词评分

AI scientist
8
AI for scientific research
8
automated scientific discovery
7
automated research
7
research automation
7
scientific discovery agent
7
autonomous research agent
6
experiment design agent
5
automated experimentation
2
paper writing agent
1
literature review agent
0
survey generation
0

深度分析

创新点

  • PaperGym利用论文结构,将每篇研究论文转化为完整的训练环境:问题从研究目标和背景中综合,标准则从方法和实验中推导。
  • 这种分离将标准泄漏降至3.7%,而现有数据集为11.90%至34.10%,从而限制了通过改写进行奖励黑客攻击。
  • 以评分标准为中心的训练调度两次使用评分标准:首先作为OPSD自教师的特权上下文,然后作为GRPO的奖励信号。
  • 该工作发布了流程、包含20,000实例的语料库PaperGym-20k,以及基准PaperGym-Innov和PaperGym-Design。

方法

PaperGym通过从研究目标和背景综合问题、从方法和实验推导评估标准来构建基于单篇论文的训练环境,标准涵盖方法创新和实验设计。训练采用两阶段以评分标准为中心的调度:评分标准首先作为OPSD自教师的特权上下文,然后作为GRPO的奖励。该方法在Qwen3-1.7B/4B/8B上,与监督微调、单独任一阶段、相反顺序以及RubricHub Science进行对比,使用五个基准平均分、三方胜率和ResearchQA进行评估。

关键结果

标准泄漏降至3.7%,而现有数据集为11.90%至34.10%。该调度在Qwen3-1.7B/4B/8B上将五个基准平均分提高了+5.6、+5.0和+4.8分;基于PaperGym-20k训练的模型在三方比较中胜率58.1%,而RubricHub Science为28.2%;训练后的Qwen3-8B在ResearchQA上达到73.48,超过Kimi K2.6。

技术栈

PaperGymOPSDGRPOQwen3

标签