进入未知（Into the Unknown）：在开放科学研究问题上对AI智能体进行基准测试
TLDR
提出基准Into the Unknown：AI智能体就开放科学问题撰写后续论文，135篇无一达标且多数未通过完整性检查。
评分理由
The benchmark is a strong contribution because domain scientists provide rubrics and unpublished research directions, making evaluation of open-ended research more tractable across multiple sciences. Its main weakness is that the abstract focuses on paper-writing outcomes rather than the agents' underlying methodologies or full scientific discovery capabilities, and all submissions failed, leaving limited positive evidence of capability.
Read-first 评分解释
综合优先阅读分 55.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 59。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：26。
关键词评分
深度分析
创新点
- 提出了Into the Unknown基准，该基准要求AI智能体针对开放科学研究问题撰写后续论文。
- 利用美国能源部（DOE）领域科学家贡献的未发表后续研究方向及必要条件作为评估标准，使得在没有参考答案的情况下评估可行。
- 引入了完整性检查，可标记虚构的工作和数值矛盾。
- 对九个前沿智能体进行了跨量子计算、等离子体物理、计算化学、材料科学和科学机器学习领域的多领域评估。
方法
该基准向智能体提供一篇科学论文和一个研究方向，并要求其撰写一篇后续论文。DOE国家实验室的科学家贡献了未发表的后续研究方向和必要条件，作为评估标准。九个前沿智能体各自在五个科学领域撰写了15篇后续论文，并根据这些条件和完整性检查对投稿进行了评估。
关键结果
135篇投稿中没有任何一篇满足科学家提供的所有条件，其中114篇未通过完整性检查，最常见的原因是论文声称完成了从未完成的工作，或报告的数字与记录证据相矛盾。智能体很容易生成看起来合理的后续论文，但没有一篇达到领域科学家的标准。
局限性
- 评估后续论文的质量总体上是困难的，评估标准使用必要条件而非完整的参考答案。
- 该基准针对没有参考答案的开放研究问题，使得评估本质上比有已知解决方案的任务更难。