TruthInsightBench：面向开放式科学发现智能体自动化评估的证据锚定基准
TLDR
TruthInsightBench 用 40 项盲任务评估科学发现智能体，自动评分显示四类编码智能体停留在平台期，缺乏科学判断。
评分理由
The benchmark innovatively targets discovery rather than reproduction, using blinded tasks and automated, deterministic scoring without per-instance human grading. However, evaluation is limited to one frozen base model and four coding agents, and the visible abstract does not provide detailed validity or reliability analyses.
Read-first 评分解释
综合优先阅读分 77.2，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 65。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：38。
关键词评分
深度分析
创新点
- 提出 TruthInsightBench，一个面向科学发现而非复现隐藏目标研究的基准。
- 使用来自 10 个科学领域 40 项同行评审研究的 40 项盲任务，仅暴露中立目标与冻结数据，同时隐藏来源结论、预期值和分析路径。
- 采用固定的基于 LLM 的裁判，对六个维度（操作化为 29 个基于工件的条目）的证据成熟度进行评分。
- 提供自动化、确定性的聚合，无需逐实例人工评分，从而能在智能体进化过程中进行可重复评估。
方法
TruthInsightBench 包含来自 10 个科学领域 40 项同行评审研究的 40 项盲任务，向智能体提供中立科学目标和冻结数据，同时隐藏来源结论、预期值和分析路径。智能体必须自行判断数据支持何种主张；固定的基于 LLM 的裁判使用 29 个基于工件的条目，从六个维度对其主张的证据成熟度进行评分。评分以自动化、确定性的方式聚合，无需逐实例人工评分。
关键结果
在同一个冻结基座模型上，四个编码智能体的得分在 100 分中处于 58.4 至 60.3 之间，两两之间没有统计学上可靠的显著差异。这些智能体能熟练执行并记录分析，在证据可审计性和新颖性上相对较强，但在很大程度上缺乏对照、稳健性、可证伪性和跨数据集泛化等判别性行为。
局限性
- 所报告的智能体性能仅基于一个冻结基座模型，因此跨基座模型的泛化性尚未确立。
- 被评估的编码智能体在很大程度上缺乏建立可信主张所需的判别性行为，包括对照、稳健性、可证伪性和跨数据集泛化。
- 对于被评估的智能体而言，真正的科学发现仍遥不可及，这表明其与真实发现能力之间仍存在巨大差距。