OpenDiscoveryTrace

数据集分析

现有的自主AI科学家基准只评估最终输出——生成的代码、假设或论文——却丢弃了获得这些输出的推理过程。这使得无法审查科学方法论、诊断失败模式，或区分系统性推理与侥幸猜测。我们提出 OpenDiscoveryTrace，一个包含558条完整AI科学智能体轨迹的公开数据集，捕捉模型的推理方式，而不仅仅是其产出。每条轨迹在模型执行124项科学任务（涵盖药物发现、材料科学、基因组学和科学文献分析）时，记录结构化的每步9字段轨迹——包括思考、工具调用、观察、错误、修订触发器和自我报告置信度。该数据集涵盖七个模型：三个前沿模型（GPT-5.4、Claude Opus 4.6 和 Gemini 3.1 Pro；各124条轨迹，在领域和难度水平上完全平衡）和四个开放权重模型（Qwen2.5-7B、Mistral-7B-v0.3、Phi-3.5-mini 和 Qwen2.5-1.5B；各30条），外加60条实时检索变体轨迹。对363条由LLM评分的轨迹进行的初步分析显示，过程轨迹揭示了仅评估输出时不可见的行为差异：所有三个前沿模型都取得了相近的成功率（84–89%），但 Claude Opus 4.6 产生的错误是 GPT-5.4 的30倍（每条轨迹2.5次 vs 0.08次，p < 0.0001，Cliff's δ = 0.613），且错误特征在本质上不同——Claude 中66.7%为工具误用，而 GPT-5.4 中83.6%为推理错误。我们定义了五个基准任务，基线包括逻辑回归、随机森林、LSTM和Transformer模型。数据集、轨迹模式、智能体框架和基准定义均以CC BY 4.0许可公开提供，以支持过程级评估、科学智能体审计和AI治理方面的研究。