⌁ Awesome Auto Research Hub 论文 · 数据集 · 项目
English GitHub
← 返回论文列表

AI可以学习科学品味

arXiv 2026 51.7 method

TLDR

提出RLCF训练AI判断和提出高影响力研究想法，表明AI能学习科学品味。

评分理由

Strengths include a novel training paradigm using community feedback (citations) for preference modeling and alignment, with strong empirical results outperforming SOTA LLMs. Weaknesses include reliance on citation-based proxy for impact, which may not fully capture scientific taste, and limited scope to idea generation rather than full research automation.

Read-first 评分解释

综合优先阅读分 51.7，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 60。

近期性 8%
100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。 年份：2026

方法质量 25%
60

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号：基线、实验

主题相关性 42%
50

使用现有 LLM 关键词相关性评分，并归一化到 0-100。 关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%
30

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文

排序敏感性

稳定性：volatile；排名波动范围：62。

关键词评分

AI scientist
9
automated scientific discovery
8
AI for scientific research
8
scientific discovery agent
8
autonomous research agent
7
automated research
7
research automation
6
literature review agent
2
experiment design agent
2
survey generation
1
automated experimentation
1
paper writing agent
1

深度分析

创新点

  • 基于社区反馈的强化学习（RLCF）范式，从大规模社区信号中学习科学品味
  • 将科学品味学习形式化为偏好建模与对齐问题
  • Scientific Judge模型，在70万对领域和时间匹配的高引用与低引用论文对上训练，用于评估研究想法
  • Scientific Thinker策略模型，通过使用Scientific Judge作为奖励模型进行偏好对齐训练，以生成高影响力研究想法

方法

作者提出RLCF，首先在70万对匹配的高引用和低引用论文上训练Scientific Judge以建模科学偏好，然后将其作为奖励模型对齐策略模型Scientific Thinker，以提出具有高潜在影响力的想法。

关键结果

Scientific Judge优于最先进的大语言模型（GPT-5.2、Gemini 3 Pro），并能泛化到未来年份、未见领域和同行评审偏好；Scientific Thinker生成的研究想法比基线具有更高的潜在影响力。

技术栈

Large Language Models (LLMs)Reinforcement LearningPreference Modeling

资源

论文

标签

CL