自动化越多，所见越少：AI科学家系统的隐藏陷阱

arXiv 2025 67.9 method

TLDR

识别出AI科学家系统中的四种失败模式，并通过在两个开源系统上的受控实验进行验证。

评分理由

The paper's strength lies in its systematic identification and empirical demonstration of critical pitfalls (benchmark selection, data leakage, metric misuse, post-hoc bias) that undermine trust in AI-generated research. A weakness is that the abstract does not detail the severity or generalizability of the failures beyond the two tested systems, and the proposed solution (mandating trace logs) is a recommendation rather than a validated method.

Read-first 评分解释

综合优先阅读分 67.9，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 84。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、评估、实验、指标

主题相关性 42%

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：工件、代码

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：34。

关键词评分

AI scientist

automated scientific discovery

autonomous research agent

scientific discovery agent

automated research

AI for scientific research

research automation

automated experimentation

paper writing agent

experiment design agent

literature review agent

survey generation

深度分析

创新点

识别了AI科学家系统中的四种失败模式：不恰当的基准选择、数据泄露、指标误用和事后选择偏差。
设计了受控实验以隔离每种失败模式，同时应对AI科学家系统评估中的特有挑战。
证明访问自动化工作流程中的跟踪日志和代码比仅检查最终论文能更有效地检测失败。
建议期刊和会议强制要求提交跟踪日志和代码以及AI生成的论文，以确保透明度、问责制和可重复性。

方法

作者设计了隔离每种失败模式的受控实验，评估了两个著名的开源AI科学家系统，并比较了使用跟踪日志和代码与仅使用最终论文进行失败检测的效果。

关键结果

评估揭示了若干严重程度不一的失败，这些失败在实践中容易被忽视；跟踪日志和代码比仅检查最终论文能更有效地检测这些失败。

资源

论文