SciΠvot：在科学自动研究智能体的关键时刻对首席研究员判断进行基准测试
TLDR
提出SciΠvot，一个248案例基准，评估LLM代理在自主研究中的科学判断；前沿模型常低于随机水平。
评分理由
The benchmark uses real longitudinal records from 26 projects and multiple scientific fields, providing a realistic evaluation of research judgment. However, the abstract is truncated and gives limited detail on case selection, model robustness, and the practical significance of the accuracy gaps.
Read-first 评分解释
综合优先阅读分 57.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 62。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：33。
关键词评分
深度分析
创新点
- SciΠvot：一个基于对LLM智能体研究决策进行人工纠正的248案例科学判断基准。
- 将科学判断评估构建为原始LLM方案与人工纠正方案之间的强制选择，且仅使用纠正前的项目记录作为上下文。
- 系统比较推理努力、项目记录访问与重新审视对LLM科学判断的影响。
方法
SciΠvot基于六个月的记录，这些记录来自资深研究人员在六个科学领域的26个项目上运行LLM智能体并反复进行人工纠正。248个案例中的每一个都要求智能体仅使用纠正前可用的项目记录，在原始LLM方案与人工纠正方案之间做出选择。研究比较了LLM与人类的表现，并检验了推理努力、项目记录访问和重新审视的影响。
关键结果
在中等推理努力且提供项目记录的情况下，模型系统性地偏好原始LLM方案而非人工纠正方案，五个前沿模型中有四个在所选案例上低于随机水平。项目条件下测得的最高准确率为63.5%，而新研究人员为73.4%；在中等努力下，每个模型在提供项目记录时的准确率都低于不提供时，且重新审视并未持续提升总体准确率。
局限性
- 该基准基于特定六个月期间、26个项目和六个科学领域中选取的人工纠正案例。
- 科学判断评估本身具有难度，因为研究决策是开放式的且依赖于项目背景。
- 所报告的低子随机水平表现仅适用于所选案例和所测试的前沿模型，并不必然适用于所有科学决策或模型。