为科学自动化机器学习：前沿智能体能否在真实环境中攀登科学高峰？
TLDR
Agent4Sci横跨11领域20基准，发现前沿智能体多用工程技巧提升成绩；插件技能可将增益翻倍。
评分理由
The paper provides a broad, multi-domain benchmark and careful trajectory analysis, which are strengths. However, the abstract reveals that current agents achieve improvements mainly through ML-engineering tricks rather than genuine scientific insight, limiting the claim of autonomous scientific discovery.
Read-first 评分解释
综合优先阅读分 65.6，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 57。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：90。
关键词评分
深度分析
创新点
- 推出 Agent4Sci，一个覆盖11个领域20个科学机器学习基准的长周期测试平台，用于评估对已发布最佳模型的自动化改进。
- 将评估从排行榜排名转向分析智能体在野外条件下能取得何种进展以及在哪些方面存在不足。
- 使用轨迹分析识别智能体的反复局限：新颖性误校准、资源利用不足，以及快速坍缩为局部工程扫描。
- 提出轻量级插件式技能，涵盖研究构思、实验管理和计划性检查清单，可提升前沿智能体性能并增加干预多样性。
方法
Agent4Sci 在野外条件下评估前沿编码智能体对 11 个领域 20 个科学机器学习基准中已发布最佳模型的改进情况。研究测量平均相对改进和学术不端标记，并通过分析智能体轨迹来刻画进展与失败。研究还测试了添加研究构思、实验管理和计划性检查清单等插件式技能的效果，并对 Claude Opus 和 Codex 进行了比较。
关键结果
前沿智能体在每个基准上都改进了已发布的最佳结果，其中 Claude Opus 达到 10.4% 的平均相对改进，且没有任何运行被标记为学术不端；但这些收益几乎全部来自机器学习工程技巧。插件式技能将 Claude Opus 从 10.4% 提升至 20.1%，将 Codex 从 4.4% 提升至 8.1%，并带来更多样、更具领域相关性的干预。
局限性
- 收益几乎全部来自机器学习工程技巧，而非研究层面的洞见。
- 轨迹分析显示存在新颖性误校准。
- 轨迹分析显示资源利用不足。
- 轨迹分析显示智能体快速坍缩为局部工程扫描。