AgentIdeaBench：智能体时代的科学构思基准评测
TLDR
AgentIdeaBench评测33个LLM在40个子领域的科学构想，主动探索揭示更大能力空间，增益受模型能力门槛限制。
评分理由
Strengths include a matched static-active evaluation design, broad multidisciplinary coverage, and literature-verified scoring. Weaknesses are that originality is unchanged and the abstract gives limited detail on evaluation limitations and metric construction.
Read-first 评分解释
综合优先阅读分 56，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 58。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：28。
关键词评分
深度分析
创新点
- 提出了AgentIdeaBench，一个多学科科学构想基准，包含匹配的静态观察与主动探索两种设置。
- 使用多维、文献验证的评分框架，其评审器根据检索到的已有工作评估原创性。
- 提出了Scientific World Modeling，一种在生成时通过结构化思想实验改进草稿假设的循环机制。
方法
该基准在匹配设置下评估了33个LLM，覆盖五个学科的40个密集评分子领域：静态观察使用精选参考文献，主动探索则反映检索-推理工作流。构想通过多维、文献验证的框架进行评分，评审器根据检索到的已有工作评估原创性；研究还测试了Scientific World Modeling生成时改进循环。
关键结果
主动探索显示出显著更大的能力空间，且该空间在模型间分布不均；性能增长速度约为静态观察下的两倍，探索增益更偏向更强模型。这些增益提升了接地性、可行性、清晰度和具体性，而评审器测得的原创性保持不变；Scientific World Modeling对中等能力模型有益，但对前沿模型的影响减弱。
局限性
- 摘要未明确说明所提出基准或评分框架的局限性。
- 评审器测得的原创性在主动探索下保持不变，可能表明评分框架未捕捉主动探索带来的原创性变化。
- Scientific World Modeling在前沿模型上影响减弱，说明其益处可能仅限于最强模型之外的模型。