AI智能体能否实现开放式科学发现？来自Station的证据
TLDR
AI智能体借助Supervisor和Meta Reflection在Station中重现62.7%的ICLR论文发现，展现开放式科学发现潜力。
评分理由
The paper addresses an important question and provides a concrete benchmarking approach with quantifiable rediscovery rates and ablations. However, the evaluation is confined to a simulated environment and focuses on rediscovering known results, which limits evidence for truly novel open-ended discovery.
Read-first 评分解释
综合优先阅读分 64.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 69。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：25。
关键词评分
深度分析
创新点
- 在Station环境中加入Supervisor机制与周期性Meta Reflection，以在缺乏中间指标时鼓励持续探索
- 基于三篇近期ICLR口头报告论文构建开放式科学发现基准，隐藏论文结果并禁用网络访问，以衡量对原始发现的重新发现
- 将原始发现拆分为单个标准并评估AI研究智能体重新发现程度的评测协议
方法
研究使用Station这一开放世界多智能体科学生态系统，并基于三篇近期ICLR口头报告论文构建开放式任务。给智能体每篇论文的主要研究问题，但不提供论文结果，且禁用网络访问；性能通过智能体重新发现多少项被拆分为独立标准（criteria）的原始发现来衡量。该方法与Codex Multiagent-v2和AI Scientist-v2进行比较，并进行了消融实验和额外的无oracle论文任务。
关键结果
Station平均重新发现了62.7%的原始发现标准，而Codex Multiagent-v2为15.4%，AI Scientist-v2为14.4%–20.6%。这两种机制共同加入提高了研究覆盖率和连续性；在两个没有oracle论文的开放式任务中，智能体的部分发现与知识截止日期之后研究者报告的发现高度吻合。