⌁ Awesome Auto Research Hub 论文 · 数据集 · 项目
English GitHub

汇总分析

研究分析

跨论文归纳研究共性、关键差异、主流方向与趋势演进。

502 篇论文

AI Scientist Systems

End-to-end autonomous research agents that combine ideation, experimentation, analysis, and manuscript generation.

58 方法质量 95 近期性 41 可复现性 38 主题相关性

文献综述归纳

研究路线

端到端自主发现流水线

把假设生成、代码执行、实验管理、可视化和论文写作闭环，减少对人工模板的依赖。

尚未覆盖：输出在同行评审下不稳定，通常只在工作坊或评分标准层面成功，缺少完整会议级证据，且局限常未说明。
领域特定验证与有效性门控

在结论写入之前，通过逻辑审计或渲染领域工件检查来发现逻辑或物理层面的静默失败。

尚未覆盖：门控仍会漏检植入失败，只在少数领域得到展示，向新推理领域或仿真器迁移的证据不足。
面向证据的发现基准

用任务完成、动作相关性、可解释知识或证据成熟度等自动指标，让科学发现可比较。

尚未覆盖：当前智能体得分在60左右并出现平台期，缺少对照、稳健性、可证伪性和跨数据集泛化，指标与真实科学价值也未校准。
协作式多智能体研究工作流

在人类首席研究员或实验管理智能体下协调知识检索、推导、实验管理和手稿起草。

尚未覆盖：人机贡献边界不清，评测依赖LLM评审标准或单领域案例，缺少可复现的多领域证据。

研究共性

  • 发现流程普遍被分解为构思、实验执行、分析、论文撰写和自动评审等阶段。
  • 自动评测或评审被用作人工评估的可扩展替代，但仍受限于LLM裁判本身。
  • 当前系统能较完整地执行和记录分析，但尚未可靠地形成带对照与稳健性检查的可信科学结论。
  • 验证或有效性门控有助于减少无效结论，但已报告的漏检率和基准平台期说明其覆盖仍不完整。

关键差异

  • 评测目标不同：模拟虚拟任务、盲数据实证任务、领域特定求解器发现和会议式同行评审并存。
  • 验证机制不同：逻辑一致性审计、渲染流场的视觉语言检查，以及无领域专用门控的通用自动评审。
  • 部署方式不同：有的完全自主生成手稿，有的采用人类首席研究员-智能体协作，也有系统止步于分析行动。
  • 领域与监督信号不同：涉及应用数学、计算流体动力学、机器学习子领域或多领域盲研究，监督从开放式假设搜索到冻结数据不等。
  • 成功证据不同：评分标准得分、任务完成率、某个仿真的壁面RMSE改进或同行评审接收，难以跨系统比较。

开放问题

  • 智能体能否从胜任分析执行，转向产生对照、稳健性、可证伪性和跨数据集泛化？
  • 逻辑或物理验证门控在已漏检植入失败的情况下，如何迁移到未见领域或求解器？
  • LLM评审分数或工作坊同行评审接收能否代表真实科学贡献与可复现性？
  • 基准只在单一冻结基座模型上报告结果，发现智能体跨基座模型的泛化如何？
  • 人类首席研究员-智能体协作中，实际人类贡献如何界定，自主程度应如何测量？
AILGCLmtrl-sciMACYDLIR

436 篇论文

Evaluation, Reliability & Governance

Evaluation, reproducibility, safety, epistemic reliability, governance, and benchmark infrastructure for automated research.

59 方法质量 95 近期性 41 可复现性 36 主题相关性

文献综述归纳

研究路线

端到端自主发现工作流系统

将基于LLM的构思、代码编写、实验执行、可视化、论文写作和模拟评审整合为持续科研流程。

尚未覆盖：流程完整不保证结论可辩护；同行评审通过率不稳定，验证门控缺失或仅限特定领域。
面向发现智能体的盲测与同行评审派生基准

提供来自真实或模拟科学研究、隐藏结论的任务，并用固定评分器、任务完成度或证据成熟度指标实现可重复评估。

尚未覆盖：任务覆盖和难度尚未证明指标提升对应真实科学效用；跨基座模型泛化性未建立。
智能体科研系统中的可靠性与验证控制

加入物理感知视觉门控、确定性程序权威或源码编辑边界，以检测静默失败并约束自主修改。

尚未覆盖：验证并不完美且可能依赖领域先验；跨硬件、数据集和用户设置的验证仍缺失。
人类对齐与模拟评审式评估

用自动评审器或研究生级人类基线校准生成论文评分和任务表现。

尚未覆盖：自动或人类对齐分数未必能反映对照、稳健性、可证伪性和科学结论的长期有效性。

研究共性

  • 仅具备自主执行和文档记录还不够；该领域越来越要求证据、验证或评审门控，结论才被视为可辩护。
  • 来自同行评审工作的盲任务或大规模虚拟任务套件有助于扩展评估，但主要表明当前智能体在科学判断上进入平台期。
  • 当前智能体能胜任分析执行并产出便于审计的记录，但普遍缺乏对照、稳健性、可证伪性和跨数据集泛化。
  • 验证和可复现信号被视为可信度的一部分，但各系统测量方式不同。

关键差异

  • 监督信号不同：有的依赖固定LLM证据成熟度裁判，有的依赖确定性程序权威、视觉-语言物理门控、人类基线或模拟会议评审。
  • 部署场景不同：基于文本的模拟发现、计算流体动力学、单细胞转录组、时间序列预测和更广泛机器学习领域塑造了不同失败模式。
  • 评测目标不同：一脉评估完整开放式发现，一脉评估盲证据结论，一脉评估任务特定架构改进，还有一脉关注人类对齐的注释与发现。
  • 成功标准不同：同行评审接受、基准分数、RMSE改善、实现成功率与token/时间成本，或相对人类表现。

开放问题

  • 哪种验证或权威机制能跨基座模型和领域泛化，而不只是过拟合到狭窄的评测任务？
  • 如何验证文档质量或任务完成度等代理指标与科学主张的认知质量一致？
  • 为什么能力尚可的编码智能体会在相近证据成熟度分数上停滞，并缺乏对照和稳健性检查等判别性行为？
  • 在工件和基线尚未完整报告的情况下，应如何跨数据集、仿真器和用户设置标准化外部验证？
AICLLGMAmtrl-sciIRDLCY

370 篇论文

Writing & Communication

Automatic paper writing, manuscript drafting, scientific reporting, peer review assistance, and research communication.

51 方法质量 95 近期性 40 可复现性 34 主题相关性

文献综述归纳

研究路线

端到端自主研究与手稿生成

在单一智能体流水线中覆盖想法生成、代码/实验执行、结果可视化和完整论文起草。

尚未覆盖：跨领域一致性，以及生成论文能否通过超出工作坊或评分准则级别的评审。
生成产物的验证与实证报告

在论文被接受前检测或防止无效结果、幻觉数字/引用和静默实验失败。

尚未覆盖：验证门控可能遗漏领域特定失败；现有证据仅来自少量植入或基准失败案例。
人机协作与干预设计

把人类监督配置在高杠杆决策点，而不是全手动或全自主。

尚未覆盖：不同学科和任务长度下的最优干预模式尚未建立。
自动评审与评测

提供可扩展的LLM/VLM评分，包括评估准则、接受阈值和盲评比较。

尚未覆盖：与人类同行评审的一致性以及对严谨理论、实证和领域特定工作的覆盖仍不完整。

研究共性

  • 端到端流水线现在将实验执行与手稿起草和评审耦合，已不再是孤立文本生成。
  • 验证和实证报告被视为可信生成论文的必要机制，而非可选附加项。
  • 自动LLM/VLM评审或评分准则被用作可扩展评测代理，并经常与人类接受阈值或盲评分数比较。
  • 选择性人类监督能提升稳健性，完全自主在不同运行中的表现仍不一致。
  • 开源代码或工件等可复现信号存在但不均衡，尤其是在专有或领域特定设置中。

关键差异

  • 监督层级不同：完全自主、结构化人机干预以及PI-研究生式协作。
  • 验证锚点不同：逻辑/定理审计、视觉-语言物理门控、数值与引用实证报告、因果失败归因针对不同失败模式。
  • 评测目标不同：接受阈值、评分准则、基准成功率、工件质量与盲评分数难以直接比较。
  • 领域范围不同：通用机器学习系统与应用数学、计算流体动力学系统在是否嵌入领域知识/验证上存在差异。
  • 能力报告不同：有的报告工作坊级同行评审接收，有的只报告评分或基准提升，会议级泛化尚未解决。

开放问题

  • LLM/VLM评审与人类同行评审在狭义工作坊或评分准则之外的领域一致性如何？
  • 哪些验证机制能捕捉当前门控漏掉的静默失败，例如一项研究中16个植入失败中的2个？
  • 这些系统能否产出具有可复现代码、数据、基线和局限说明的完整会议或期刊论文，而不只是工作坊级接收？
  • 在不同学科和长周期研究中，最小充分的人类干预模式是什么？
  • 如何在不牺牲新研究领域迁移能力的情况下引入领域特定知识？
AILGCLMAmtrl-sciDLCYIR

355 篇论文

Literature Intelligence

Automated literature search, paper reading, citation analysis, literature review, survey synthesis, and research gap discovery.

55 方法质量 94 近期性 40 可复现性 35 主题相关性

文献综述归纳

研究路线

带验证与知识检索的自主多智能体论文生成，如 ReasFlow

在推理密集领域完成文献综合、推导、实验和论文撰写，并在人类首席研究员监督下减少专家干预。

尚未覆盖：评测依赖 LLM 评审标准，缺少外部人工效度和局限性证据，跨领域可信性仍不确定。
面向开放发现智能体的证据锚定评测，如 TruthInsightBench、BAISBench

用盲任务、冻结数据和同行评审研究衍生题比较智能体是否提供对照、稳健性、可证伪性与可审计性。

尚未覆盖：仅覆盖单个冻结基座模型或特定生物数据设置，跨基座模型和跨领域泛化尚未验证。
自主研究流水线的失败案例与设计原则分析，如 Why LLMs Aren't Scientists Yet

识别实现漂移、记忆退化、过度乐观、领域智能不足和科学品味薄等失败模式，为稳健设计提供原则。

尚未覆盖：证据来自少量端到端机器学习研究尝试，无法说明哪些干预能在其他流水线或领域复现。
自演化、领域无关的智能体框架，如 EvoMaster

通过假设优化、自我批判和知识积累提供可复用基础设施，降低不同学科构建自演化智能体的成本。

尚未覆盖：基准分数属于代理指标；缺少限制说明与跨硬件、数据集和用户设置的外部验证。

研究共性

  • 自主发现智能体仍被当作科研助理而非完全独立科学家，人工监督或人类基线仍是核心。
  • 验证循环、自批判、知识检索和证据审计是减少未受检输出的重复机制选择。
  • 评测趋向使用冻结数据、自动裁判和同行评审研究衍生任务，使开放式主张可比较。
  • 现有系统能执行并记录分析，但普遍缺少对照、稳健性、可证伪性和跨领域泛化。
  • 文献综述与综述合成自动化在这组证据中反复被列为核心未解挑战。

关键差异

  • 评测目标不同：有的评生成论文质量，有的评实证主张的证据成熟度，有的评特定生物发现，有的聚合通用基准表现。
  • 监督交互不同：人工担任 PI 与代理担任研究生协作，对比自主自演化管道和盲评估编码代理，干预时机假设不同。
  • 性能解读冲突：一方报告 LLM 评分上的最高成绩，另一方发现编码代理间无统计显著差异并记录多种失败模式。
  • 任务范围不同：推理密集数学推导、开放式同行评审数据分析、单细胞组学和通用科学任务对有效证据的定义不同。

开放问题

  • 在证据包缺少独立专家人工验证的情况下，LLM 裁判和证据成熟度分数能否预测真实科研效用或发表质量？
  • 对照、稳健性、可证伪性和跨领域泛化缺口能否通过更强验证循环解决，还是受限于单一冻结基座模型？
  • 现有证据仅覆盖少量系统、领域和一次成功管道尝试，相关结论能否扩展到其他基座模型、数据集和科研设置？
  • 需要何种外部验证标准，才能使自动文献综合和发现声明在不同科研任务中具有可信性？
AICLLGIRDLMAmtrl-sciCY

318 篇论文

Hypothesis & Idea Generation

Systems that propose hypotheses, research ideas, experimental directions, or scientific questions.

56 方法质量 94 近期性 40 可复现性 37 主题相关性

文献综述归纳

研究路线

带有验证门控执行的自主假设生成

将开放式假设或研究方向转化为可执行实验，并在接受前检查结果，以减少静默失败和无支持的主张。

尚未覆盖：验证门控仍会漏掉部分植入失败，且主要在狭窄领域中验证；对未见失败模式的泛化尚未建立。
结构化失败归因与自我纠正

将失败实验转化为有证据的因果诊断，并路由到假设、设计或实现层面的修复，从而提高含指标产出的比例。

尚未覆盖：完全自主的科研写作和可提交论文仍待解决，评测集中在小规模基准。
人机协作的多智能体研究编排

协调智能体角色、工作流和关键节点的人类干预，并检查报告以防止伪造数字和虚假引用。

尚未覆盖：证据限于小型内部案例和专家偏好评判；跨领域最优干预模式尚未明确。
面向AI科学发现的基准与测试床

为细胞注释、生物学发现问题和改进已发布的机器学习模型提供可比较的任务和基线。

尚未覆盖：当前提升常来自机器学习工程技巧而非研究洞察，基准表现尚未与真实发现效用关联。

研究共性

  • 自主研究系统在流程上趋于一致：假设生成、可执行实验、验证和基于结果的报告。
  • 可靠性被视为一级设计目标，通过验证门控、确定性权威分离或失败归因实现，而非仅依赖模型生成。
  • 消融证据显示，在高杠杆决策点进行选择性人类协作优于完全自主和逐步监督。
  • 基准和专家评审正在补充排行榜指标，但观察到的改进常集中于代码执行和工程变更。

关键差异

  • 验证机制不同：面向物理的视觉检查、确定性源码编辑权威、结构化辩论和多假设因果诊断以不同方式编码可信度。
  • 交互模式不同：部分系统追求完全自主，另一些强调人机检查点，且一项证据显示精准监督优于穷尽式监督。
  • 评测目标不同：单细胞生物学发现、计算流体动力学、时间序列预测和跨领域机器学习改进设定了不同成功标准。
  • 测量重点不同：实现成功率与token成本、基准准确率、专家偏好或含指标产出率并非可互换的证据。

开放问题

  • 自主研究智能体能否在长时程改进任务中区分新的科学假设与机器学习工程技巧？
  • 验证和有效性门控能否迁移到消融集之外的新领域或未见失败模式？
  • 当前AI科学家基准提升能否预测真实实验室中的下游发现效用？
  • 在小型案例之外，跨研究工作流的最小且最有效的人类干预节奏是什么？
  • 这些系统能否在可靠自动化文献支撑的同时避免虚假引用或伪造数值结果？
AICLLGMAIRmtrl-sciDLCE

235 篇论文

Experiment Automation

Agents that design, execute, monitor, analyze, or iterate experiments, including code-based and lab-based experimentation.

63 方法质量 95 近期性 41 可复现性 41 主题相关性

文献综述归纳

研究路线

端到端自主研究智能体

自动完成想法生成、代码或实验执行、可视化和论文撰写，形成科学发现闭环。

尚未覆盖：跨运行和场景的稳定性、与人类专家判断的一致性，以及生成论文与可复现结果之间的一致性。
科学发现任务环境

提供多领域任务和指标，覆盖假设形成、实验设计、分析与结论使用。

尚未覆盖：任务完成度和代理指标是否捕捉研究洞察，而不只是表面行为或工程技巧。
面向研究智能体的失败感知记忆

把失败尝试转化为可复用的负向证据，提升重试和跨任务实验表现并降低令牌开销。

尚未覆盖：类型化失败记录的粒度、在 PDE 和 ScienceAgentBench 之外的迁移，以及与更大规模研究流程的集成。
交互式多智能体研究基础设施

提供可定制团队、角色化工作流、代码工具、仪表板、监控和回滚，使自主研究可控。

尚未覆盖：成熟度、标准化，以及跨硬件、数据集、团队和研究领域的外部验证。

研究共性

  • 自主系统能覆盖想法生成、实验执行、分析和论文撰写连续闭环，但通常仍需人类监督或验证。
  • 相比孤立运行，智能体在有结构记忆、验证或失败记录时更容易复用过去尝试。
  • 生成科学工作的评估依赖自动评审、专家偏好、任务成功指标或工作坊同行评审，但这些代理信号与可复现科学价值尚未完全对齐。
  • 现有科学发现环境显示，强通用智能体要么表现困难，要么主要靠实现层面技巧取得进展，暴露出工程与发现之间的差距。

关键差异

  • 任务和评估目标不同：完整论文生成与投稿接受、虚拟发现任务、改进已发表科学 ML 模型、求解 PDE 问题。
  • 交互和监督方式不同：全自动执行、首席研究员与研究生式引导、人类仪表板回滚、策展者与研究者共享记忆架构。
  • 控制机制不同：渐进式智能体树搜索、角色专业化多智能体团队、失败记录采纳、代码工具执行循环。
  • 验证强度不同：有的用 LLM 评审标准，有的用 AI 专家评审案例，有的用工作坊同行评审接受，任务套件用完成度指标。
  • 部署场景不同：文本模拟实验室任务、本地 ML 代码库、应用数学推导与理论、跨领域科学 ML 任务。

开放问题

  • 自动化研究智能体如何超越局部工程调优，产出真正的领域级研究洞察？
  • 自动评审标准和专家偏好比较能否预测人类同行评审、可复现性和长期科学影响？
  • 从失败中捕获的负知识能否在 PDE 案例之外的不同科学领域、任务和实验基础设施间稳健迁移？
  • 需要什么证据才能证明自主研究基础设施在小型内部案例和策划任务套件之外有效？
  • 当局限性、代码、数据集和外部可复现细节缺失或证据不足时，端到端论文生成的价值如何评估？
AILGCLmtrl-sciMACYCEIR

49 篇论文

Hypothesis Generation

Papers and resources related to Hypothesis Generation.

65 方法质量 96 近期性 39 可复现性 45 主题相关性

文献综述归纳

研究路线

自主假设到结果流水线

将开放式目标和数据集转化为数据分析、文献搜索、假设生成和实验执行的迭代循环，形成可追溯报告。

尚未覆盖：长期准确性与事实性不完整，报告陈述准确率未达完全可靠，且扩展性仅在有限周期内得到验证。
结构化搜索与进化式研究轨迹

通过分支、回溯或进化选择探索假设、算法或方程空间，获得更受控且可检查的研究轨迹。

尚未覆盖：在已测的组合优化、驾驶或预测案例之外的扩展性，以及搜索收益与模型或任务先验的分离仍未解决。
人机协作与监督协议

将人类干预分配到高杠杆决策点，以在不进行逐步监督的情况下提高可靠性。

尚未覆盖：哪些决策点应引入干预，以及自主边界如何推广到已报告消融之外，缺少系统外部验证。
评测基准与证据设计

用真实任务和公开评测工具测量真实研究能力，并量化不同模型间的难度差距。

尚未覆盖：基准指标与真实发现新颖性、可重复性或下游效用之间的对齐尚未建立，领域覆盖也有限。

研究共性

  • 系统普遍采用迭代循环：从数据、文献或先前结果中生成候选假设，通过代码执行或实验反馈验证，并输出可追溯结果。
  • 证据来源和可追溯性被视为核心可靠性机制，通常要求报告引用代码、数据或原始文献，或通过确定性权威检查。
  • 评测依赖基准任务和基线对比，但报告准确率或基准得分仍存在残差或未验证边界。
  • 自主性被视为领域条件化：在结构化、可执行、可快速验证的环境中更可信，在具身、延迟、异质或伦理负责的环境中仍受限制。

关键差异

  • 交互模式不同：一些系统依赖长时间完全自主运行，另一些则显示在关键决策点引入精准人类协作优于完全自主或逐步监督。
  • 探索机制不同：结构化树或进化搜索用分支和回溯控制研究轨迹，而并行迭代循环依赖大规模智能体展开和信息共享。
  • 权威设计不同：部分系统将认知与确定性程序权威分开以控制代码编辑和晋升，部分系统依赖智能体自验证和可追溯报告防伪。
  • 评测目标不同：生物研究基准、科学方程发现、组合优化和真实预测案例评估不同能力，难以直接比较。

开放问题

  • 超出已测周期或智能体展开次数后，假设质量和事实准确性会如何变化？现有证据仅覆盖有限运行和特定基准。
  • ARC-Bench、LABBench2等代理基准是否与真实科学发现的新颖性、可重复性或下游效用相关？
  • 在什么条件下必须引入人类干预，哪些决策点能以最小人力成本获得最大可靠性提升？
  • 系统能否在开放、非代码可执行环境中可靠地拒绝弱方向并避免伪造数字或幻觉引用？
  • 性能提升中有多少来自假设生成本身，多少来自任务先验、基线或执行与控制器设计？
AICLLGGNMADLCENE

47 篇论文

Scientific Discovery Agents

Papers and resources related to Scientific Discovery Agents.

36 方法质量 94 近期性 47 可复现性 23 主题相关性

文献综述归纳

研究路线

完整发现循环基准

评估智能体是否能在受控环境中形成假设、设计实验、分析结果并采取行动。

尚未覆盖：自动任务完成指标未必捕捉科学有效性，受控环境之外的任务多样性未得到证明。
基于证据的开放式评测

将同行评审数据以盲任务形式暴露给智能体，按证据成熟度而非复现结果评分。

尚未覆盖：仅报告单一冻结基座模型；LLM裁判与人类专家的一致性及跨领域泛化尚未建立。
可审计研究问题形成

在实验前结构化假设、机制、可证伪假设、测试与失败更新规则。

尚未覆盖：证据为初步且依赖裁判；对真实发现结果的下游影响未被展示。
受限端到端编码评测

在单GPU、无互联网和时间预算约束下测试自主模型设计、实现与训练。

尚未覆盖：仅七个ML任务，约束设置可能不代表真实科研软件工作流或更大规模项目。

研究共性

  • 智能体仍远未达到可信的自主科学发现；强基线在现有基准上表现出困难或表现平台化。
  • 评测越来越围绕开放式科学目标、证据成熟度、安全性和可复现性，而非简单答案匹配。
  • 智能体能够执行并记录分析或代码，但普遍缺乏对照、稳健性、可证伪性和跨领域泛化能力。
  • 自动LLM裁判被广泛使用，但其作为领域专家代理的可靠性仍未解决。

关键差异

  • 评测目标不同：发现循环任务完成情况、证据成熟度、受限编码性能、湿实验室安全或可审计问题质量。
  • 交互场景不同：文本模拟环境、盲审数据、单GPU纯代码任务、物理或虚拟执行闭环。
  • 证据来源不同：自动指标、LLM裁判、领域专家校验，或执行成功与安全门拦截情况。
  • 表示与脚手架不同：结构化研究问题证书、提炼代码库、片段记忆，或轨迹感知风险状态。

开放问题

  • 自动LLM裁判在不同科学领域中与人类专家判断的一致性如何？
  • 智能体能否产生可推广的新发现，而非重新推导或复现隐性结论？
  • 安全性、可审计性与证据成熟度的改进是否能跨基座模型、领域和部署场景迁移？
  • 哪些评测约束能在保持科学有效性的同时反映真实发现工作流？
  • 从胜任分析与记录到可信、可证伪的科学发现，差距具体在哪里？
AILGCLcomp-phmtrl-scichem-ph

45 篇论文

Survey Generation

Papers and resources related to Survey Generation.

54 方法质量 89 近期性 42 可复现性 35 主题相关性

文献综述归纳

研究路线

基于智能体的迭代综述生成

通过检索、大纲扩展、分节起草和评分准则/评审驱动的迭代优化，自动生成结构清晰的长篇文献综述。

尚未覆盖：多数评估使用覆盖度、结构、引用等代理指标；缺少匹配后端的端到端比较和严格的跨领域外部验证。
结构化知识与分类法组织

用方法-实体关系或层次分类法替代扁平论文视图，以改进检索、大纲生成和主题组织。

尚未覆盖：语义关系支持不完整，extends 等关系类型最弱；与单一专家分类法的对齐度较低，并假设该参考分类法本身有效。
证据门控引用与综合验证

通过全文抽取、引文图扩展、混合过滤、语义证据门控和多智能体验证，减少无证据支撑的主张。

尚未覆盖：审计仍显示部分引用或语义边无支撑；证据门控 AUC 中等，不能保证所有主题下句级正确性。
综述质量评测与基准构建

提供基准、分类法、成对评测和指标，用于比较检索、分类结构、内容覆盖和引用质量。

尚未覆盖：基于参考的对齐分数与无参考能力缺口存在分歧；基准常依赖单一专家分类法或狭窄代理指标。

研究共性

  • 基于LLM的智能体系统是自动综述生成的主流方式，检索、迭代规划与多阶段优化是核心组件。
  • 综述质量从覆盖度、结构、引用忠实度和分类/大纲对齐度等维度评估，而非只看单一表面分数。
  • 引用可靠性和检索质量被视为主要失败模式，因此引入证据门控、引用过滤和论文级约束。
  • 层次分类或方法-实体关系建模等结构化组织被认为是产出近似专家综述的关键。
  • 自动指标与LLM/人工判断常被结合使用，但结果表明与专家判断的对齐仍然困难。

关键差异

  • 表示方式不同：部分系统在扁平检索文档上工作，另一些构建方法-实体知识图谱或专家式分类法。
  • 评测目标不同：不同路线分别优化评分准则质量、成对人工偏好、专家分类对齐全度和引用精确率/召回率。
  • 交互模式不同：全自主生成流程与受管控的科学家在环或仅聚合数据研究编排形成对比。
  • 任务范围不同：部分工作面向端到端综述起草，另一些只关注分类组织、检索评测或科研工作流编排。
  • 证据执行方式不同：有的系统使用语义证据门控和引文图约束，有的依赖迭代LLM评审或评分准则反馈，缺少句级证据门控。

开放问题

  • 为何最佳深度研究智能体仅检索到 20.92% 的专家引用论文，其中多少是检索失败，多少是合理的专家收录差异？
  • 方法-实体知识图谱能否改善 extends 等弱语义关系类型，该类型在人工判定中支持率仅 52.8%？
  • 评分准则分数、语义路径相似度和引用指标能否预测实际研究效用或专家对生成综述的接受度？
  • 这些系统在匹配后端的端到端比较中表现如何，而不是仅在有限上下文的并发系统比较中？
  • 受管控端到端研究系统能否从高血压 GWAS 案例推广到多样综述主题，同时保持机构隐私与可重复性？
CLAIIRDLHCLG

36 篇论文

Research Agent Benchmarks

Papers and resources related to Research Agent Benchmarks.

29 方法质量 95 近期性 40 可复现性 16 主题相关性

文献综述归纳

研究路线

研究状态与经验表示

把长期实验历史转化为持久紧凑状态、经验库或可复用技能，减轻历史重放、重复工作和交互开销。

尚未覆盖：这些状态或技能在多大程度上跨基准族和领域迁移尚不明确；多个可见记录未报告明确局限性。
闭环搜索与反馈分配

连接决策与干预，如分配实验、按需试点或高保真评估，并在预算下改写优化器。

尚未覆盖：提升中搜索/分配策略与固定主干、harness或任务先验的贡献难以区分；领域覆盖较窄。
基准与留出评测设计

通过固定预算、密封/留出目标、oracle查询数、基线和目标分歧上限使主张可比。

尚未覆盖：代理指标与真实效用可能不一致；开发集最优不必然迁移到密封目标；人工设计基线仍强。
资源感知研究基础设施

把仓库知识提炼为已验证技能，构建可执行评估器或harness，并降低 token、oracle 调用或力调用成本。

尚未覆盖：可见可复现证据稀疏：代码、数据集、工件和局限性字段常缺失；缺少跨框架标准化外部验证。

研究共性

  • 长期自主研究通常以最终任务改进和资源成本共同衡量，而非只看单点指标。
  • 反馈设计是核心：留出/密封评测、稀疏高保真标签、试点测试和显式预算被用于测试泛化。
  • 把持久研究状态或外部知识从智能体即时上下文中分离出来，能够改善效率与复用。
  • 短视界开发评估可能误导，多个工作采用密封/留出测试和目标分歧上限来修正。

关键差异

  • 监督信号不同：有的用目标基准一致性，有的用留出指标降低，有的用稀疏高保真 oracle 标签，有的用下游基准分数提升。
  • 评测目标不同：代码/ML基准套件、材料Matbench端点、分子几何优化力调用、评估器设计任务分别成为主战场。
  • 交互模式不同：无状态 harness 持有共享搜索状态、经验库检索、仓库提炼技能、在线代理修复各自组织反馈。
  • 部署场景不同：软件/ML研究、材料科学、分子几何优化、自主评估研究对研究智能体边界的定义不同。

开放问题

  • 在目标分歧上限较高时，开发目标上的收益能否迁移到密封/留出任务？
  • 报告性能提升中，多少来自智能体搜索策略，多少来自固定主干、harness、评分器或任务先验？
  • token、oracle 调用、力调用等资源效率指标在不同框架预算和基线不一致时是否可比？
  • 多条可见记录缺少代码、数据、工件或明确局限性，标准化外部验证能否弥补这些证据缺口？

25 篇论文

Automated Experimentation

Papers and resources related to Automated Experimentation.

44 方法质量 87 近期性 39 可复现性 29 主题相关性

文献综述归纳

研究路线

端到端自主研究实验室与管线自动化

将构思、文献分析、实验设计、执行、解释、手稿起草和溯源记录等完整研究循环转化为可自动化工作流。

尚未覆盖：治理、社区协调、已实现原型和经验验证仍然缺失或未解决。
智能体实验活动编排

在计算或物理实验中维持持久优化状态，并将LLM推理与重复的贝叶斯优化或代码编辑循环分离。

尚未覆盖：推理成本较高，展示领域仍有限，与人工主导实验效率的比较缺乏标准化。
仪器与样本的预测数字孪生

通过将样本状态表示与仪器或计算基础设施模型配对，预测候选操作的结果、不确定性和风险。

尚未覆盖：验证局限于特定模态，仪器模型失配仍存在，未展示超出显微镜或颜色混合场景的迁移。
自驱动实验室噪声特征检测与恢复

基于kNN工作流分析数据集大小、噪声强度、噪声类型和特征分布，检测并纠正实验数据中的噪声特征。

尚未覆盖：低强度噪声、离散或窄分布特征，以及DFT和自驱动实验室数据集之外的泛化仍不足。

研究共性

  • 多项工作都围绕闭环实验展开：提出变更、执行或仿真、依据约束或适应度评估、更新持久状态。
  • 普遍从超参数优化走向更高层的实验设计、解释、模型或实验活动管理。
  • 数字与物理验证并存，但基线标准化、工件发布和可复现证据仍不完整。
  • 人类监督在指导、评审或治理中的作用被多数工作承认，即便系统被描述为自主。

关键差异

  • 交互方式不同：部分主张完全自主研究实验室，部分保留人类专家进行新颖性评估、反馈或实验活动监督。
  • 表示方式不同：语言代理编辑代码或管理实验活动、学习预测数字孪生、最近邻数据校正各自依赖不同假设。
  • 评测目标不同：推荐系统研究自动化、原子间势训练、显微镜、流动化学、颜色混合和数据清洗基准难以直接比较。
  • 部署假设不同：HPC作业管理、nanoHUB基础设施、物理仪器和纯数字任务对可复现性与扩展性有不同要求。

开放问题

  • 哪些评测协议能证明自主实验系统在任务特定评分卡之外仍能产生可复现、可治理且有科学意义的结果？
  • 预测数字孪生和智能体控制器如何跨仪器模态、材料体系和实验室基础设施迁移？
  • 在小样本、窄分布或低强度噪声条件下，噪声检测与闭环优化是否仍可靠？
  • LLM推理在长期物理实验中的成本收益边界在哪里，何时必须保留人类监督？
LGAImtrl-sciCLdata-anchem-phCEIR

20 篇论文

Literature Review Agents

Papers and resources related to Literature Review Agents.

17 方法质量 89 近期性 36 可复现性 14 主题相关性

文献综述归纳

研究路线

检索支撑的文献与证据访问

将文献数据库转化为可查询的证据层，使综述代理能够实时检索、抽取并佐证来源，而不仅依赖参数化知识或网页搜索。

尚未覆盖：除生命科学语料外，能否覆盖更多领域；Citation F1等引用级指标改善是否转化为专家级综述质量仍缺少验证。
多代理与迭代式综述生成工作流

通过专用或迭代角色完成提纲、子节写作、编辑和评审，以提升可读性、引用质量以及与人类综述的相似度。

尚未覆盖：证据主要来自SciReviewGen和ScienceDirect等少数基准；各代理阶段的独立贡献和跨领域鲁棒性尚未充分消融。
综述代理的评测与排行榜认证

定义公平比较条件与组合可控性，判断生物医学文献综述代理的排行榜比较是否可采纳。

尚未覆盖：证据包缺乏详细方法与结果；该框架能否扩展至生物医学之外的场景并证明真实效用仍未知。
科学智能体概念综述与集成

将文献综述视为更广泛AI科学家系统中的一环，以Adam、Eve等历史系统为线索组织自动化科学与集成挑战。

尚未覆盖：文献证据与假设-实验闭环的集成仍未解决；多数主张为定性、长期目标。

研究共性

  • 近期系统把文献综述视为检索、来源落地、结构化组织、撰写和评测共同构成的复合任务，而不是单次LLM调用。
  • 普遍以引用级或专家对齐的证据质量为中心目标，即使具体指标不同。
  • 系统设计上倾向将LLM作为编排器，分解查询、调用实时数据库或搜索并聚合证据。

关键差异

  • 一类工作将综述质量建立在实时文献数据库检索与专家共识验证上，另一类工作侧重角色专用多代理写作流程，并以与人类综述的相似度和引用质量评判。
  • 评测设计不同：有的在固定综述基准上与既定基线比较，排行榜认证工作则质疑许多比较因可控性约束而不可采纳。
  • 范围不同：部分系统绑定生物医学/生命科学特定数据和评测，其他工作面向更通用的文献综述自动化。

开放问题

  • 文献探测基准上的Citation F1和专家共识提升能否转化为研究者实际需要的高质量完整综述？
  • 检索、规划、来源抽取、写作和编辑环节中，哪些组件带来因果性性能增益，当前基准未覆盖哪些失败模式？
  • 在生物医学/生命科学之外，什么评测条件能使文献综述代理的比较公平且外部有效？
CL

13 篇论文

Paper Writing Agents

Papers and resources related to Paper Writing Agents.

1 方法质量 90 近期性 47 可复现性 6 主题相关性

文献综述归纳

研究路线

自动化论文起草与生成

从高层想法或大纲生成完整研究论文，减少人工写作负担。

尚未覆盖：生成内容的质量、原创性和事实可靠性；缺乏与人类撰写论文的标准化评估对比。
交互式写作辅助与辅导

在编辑器内提供实时反馈、修改建议和写作指导，提升草稿质量。

尚未覆盖：对不同写作风格和学科的适应性；对最终论文接收或可读性的可衡量影响。
论文评审与批判

生成或评估对科学论文的批判意见，旨在支持或自动化同行评审。

尚未覆盖：批判意见超越表面陈述的依据性；对细微方法论缺陷的覆盖及与实际审稿流程的整合。
多模态论文转换

将论文内容转换为海报、幻灯片或可视化摘要等其他格式。

尚未覆盖：设计质量、内容选取准确性和用户定制化；超越美学吸引力的评估。

研究共性

  • 所有工作均以大语言模型作为论文相关任务的核心推理引擎。
  • 广泛采用多智能体架构分解复杂的写作或分析流程。
  • 研究集中在2025–2026年，表明这是一个新兴但快速发展的领域。
  • 共同强调将工具集成到现有学术环境（如Overleaf）或提供可复现工件。

关键差异

  • 任务范围：部分系统瞄准端到端论文生成，其他则聚焦编辑、评审、海报创作或实验复现。
  • 自主程度：全自动生成对比人机协作的辅导或辅助。
  • 交互模式：编辑器内插件、独立框架或无直接用户交互的基准套件。
  • 评测目标：输出文本质量、批判依据性、复现成功率或检索召回率/精确率。

开放问题

  • 如何超越表面指标评估自动生成论文的创新性和科学贡献？
  • 何种机制能确保生成内容的事实准确性、恰当引用并避免抄袭？
  • 这些智能体在需要深厚领域知识或新颖实验设计的论文上表现如何？
  • 学术出版中的伦理影响和潜在滥用风险是什么，如何缓解？