⌁ Awesome Auto Research Hub 论文 · 数据集 · 项目
English GitHub
← 返回论文列表

AutoSOTA：一种用于发现最先进AI模型的端到端自动化研究系统

arXiv 2026 67.6 method

TLDR

AutoSOTA端到端多智能体系统，自动化复制优化SOTA模型，在顶级会议发现105个新SOTA。

评分理由

The paper presents a novel multi-agent architecture for automated research, with strong empirical results (105 new SOTA models) and evaluation across diverse domains. However, it relies on code availability and execution cost filters, and the abstract does not detail limitations or failure cases, which may affect generalizability.

Read-first 评分解释

综合优先阅读分 67.6，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 80。

近期性 8%
100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。 年份：2026

方法质量 25%
80

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号：评估、实验、结果

主题相关性 42%
66.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。 关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%
46

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文：有；代码：无；数据：无；命中信号：代码、复现

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：21。

关键词评分

automated research
10
research automation
10
automated scientific discovery
9
automated experimentation
9
AI for scientific research
9
autonomous research agent
8
scientific discovery agent
8
experiment design agent
7
AI scientist
6
literature review agent
2
survey generation
1
paper writing agent
1

深度分析

创新点

  • 端到端自动化研究系统，能够复现并改进顶级论文中的最先进AI模型
  • 多智能体架构，包含八个专门智能体，用于论文到代码的对应、环境修复、实验跟踪、想法生成和有效性监督
  • 三阶段问题形式化：资源准备与目标设定、实验评估、反思与构思

方法

AutoSOTA采用多智能体系统，包含八个智能体，负责将论文与代码对应、初始化并修复执行环境、跟踪长期实验、生成并调度优化想法，以及监督有效性。该系统在来自八个顶级AI会议的近期论文上进行评估，过滤了代码可用性和执行成本，衡量端到端复现和后续优化。

关键结果

该系统发现了105个超越原始报告结果的新SOTA模型，平均每篇论文约五小时，并展示了超越超参数调优的改进，包括跨LLM、NLP、计算机视觉、时间序列和优化领域的架构创新和算法重新设计。

局限性

  • 评估仅限于有可用代码且执行成本可控的论文
  • 可能无法推广到没有代码或需要过高计算资源的论文
  • 优化构思受限于智能体的预定义能力

资源

论文

标签

CLCE