TruthInsightBench

数据集分析

自主编码智能体越来越多地被提议作为执行分析并撰写研究报告的AI科学家系统，但执行规定好的分析并不等同于做出发现。现有基准面向复现而设计：任务、数据和评分标准围绕一项隐藏的目标研究构建，并且以恢复其结果作为奖励。我们提出 TruthInsightBench，一个面向发现的基准。它包含来自10个科学领域40篇经同行评审研究的40个盲任务，仅暴露中性的科学目标和冻结数据；源结论、预期值和分析路径均被隐藏，由智能体自行判断数据支持何种主张。一个固定的基于LLM的评审器从六个维度对智能体自身主张的证据成熟度进行评分，具体化为29个基于产物（artifact）的评分项，采用自动化、确定性的聚合方式，无需逐实例人工评分，因此可在智能体迭代演进时自动重复评估。在一个冻结的基础模型上，四种编码智能体形成了一个狭窄的高原区（100分制中的58.4-60.3分），且任意两两之间均无统计上可靠的差异：它们能够熟练地执行分析并撰写文档，在证据可审计性和新颖性方面相对较强，但很大程度上缺乏建立可信主张所需的判别性行为（对照组、稳健性、可证伪性和跨数据集泛化）。瓶颈在于科学判断而非编码，真正的发现仍然遥不可及。TruthInsightBench 使这一差距成为可测量的目标；数据和评分代码位于 https://github.com/TruthInsight-stack/TruthInsightBench。