评估Sakana的AI科学家：大胆的宣称、混合的结果，以及有希望的未来？
TLDR
评估Sakana的AI科学家揭示严重缺陷：文献综述差、实验失败率高、代码改动少、结果幻觉。
评分理由
The paper provides a thorough independent evaluation with concrete metrics (42% experiment failure, median 5 citations, etc.), highlighting both strengths (leap forward) and weaknesses. However, it focuses on a single system and does not propose new methods or solutions.
Read-first 评分解释
综合优先阅读分 68.6，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 99。
研究版图角色
前沿论文桥接论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：82。
关键词评分
深度分析
创新点
- 引入了“人工研究智能（ARI）”这一术语，描述AI自主进行研究的能力。
- 提供了对Sakana的“AI科学家”系统的首次全面独立评估。
方法
作者通过分析AI科学家的文献综述以评估其新颖性判断，追踪实验执行成功率和代码修改情况，并检查生成的手稿的引用质量、结构错误和幻觉结果。他们还测量了成本和人工参与时间。
关键结果
42%的实验因编码错误失败，代码修改平均仅增加8%的字符，手稿中位数引用5篇且大多过时，频繁出现结构错误和幻觉结果，但该系统以6-15美元成本和3.5小时人工参与生成了完整论文。