在线代理修复：在闭环发现中将高保真反馈与搜索长度解耦

arXiv 2026 61.3 method

TLDR

在线代理修复在长时间闭环搜索中用稀疏高保真标签更新代理，减少合成与MADE基准的oracle查询。

评分理由

Strengths include a novel method addressing high-fidelity feedback bottlenecks and strong empirical gains on MADE across multiple orchestrators. Weaknesses include reliance on synthetic/benchmark evaluation and limited visible details on real-world generality and robustness.

Read-first 评分解释

综合优先阅读分 61.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 59。

方法质量 25%

100

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、评估、实验、指标、结果

近期性 8%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

主题相关性 42%

49.2

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：67。

关键词评分

AI scientist

automated scientific discovery

AI for scientific research

scientific discovery agent

autonomous research agent

experiment design agent

research automation

automated research

automated experimentation

literature review agent

survey generation

paper writing agent

深度分析

创新点

在线代理修复（OSR）：一种闭环算法，在主要由廉价代理反馈驱动的较长智能体搜索中，利用稀疏高保真评估更新代理模型。
Q90-UCB和期望改进（EI）等采集规则，基于决策相关区域而非全局代理拟合，从累积候选中选择进行高保真评估的设计。
第三种反馈机制：介于固定代理模型运行与每回合后高保真反馈之间，将高保真评估频率与智能体搜索长度解耦。

方法

OSR将低成本的代理引导智能体搜索与偶尔的高保真评估交错进行；高保真评估由采集规则从累积候选中选择，所得标签更新后续回合的代理模型。在受控合成环境和MADE基准上评估，对照组每回合后接收高保真反馈，指标包括最大遗憾和oracle查询次数。

关键结果

改善全局代理拟合并不必然降低最大遗憾，而Q90-UCB和期望改进通过将高保真评估引向决策相关区域显著降低遗憾。在MADE上，每回合高保真反馈的对照组需要6.36–7.23倍的oracle查询才能匹配两种LLM编排器下的在线EI，在Chemeleon+MLIP工作流下需要10.27倍。

局限性

定制实验室自动化需要大量基础设施且成本高昂。
用固定代理模型替代新实验会留下持续模型误差，并可能被优化放大。
标题/摘要未明确说明所提出的OSR方法的局限性。

技术栈

OSR (online surrogate repair)Q90-UCBExpected Improvement (EI)MADE benchmarkLLM orchestratorsChemeleon+MLIP

资源

论文