ScienceIDE：将世界科学代码库转化为智能体可学习环境

arXiv 2026 54.3 method

TLDR

ScienceIDE 将科学代码库转化为可执行环境以训练和评估科学智能体，带来代码修复与通用推理能力的提升。

评分理由

The paper presents a novel infrastructure and trained models, with concrete benchmarks and code release. However, the abstract lacks detailed evaluation methodology and limitations, making the strength of the reported gains difficult to fully assess.

Read-first 评分解释

综合优先阅读分 54.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 49。

近期性 8%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、评估

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码、GitHub

主题相关性 42%

40.8

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：52。

关键词评分

AI for scientific research

autonomous research agent

research automation

scientific discovery agent

AI scientist

automated research

automated experimentation

automated scientific discovery

experiment design agent

literature review agent

survey generation

paper writing agent

深度分析

创新点

提出了 ScienceIDE，一种将科学代码库转化为科学智能体可编程环境的基础设施。
识别并阐述了由碎片化工具链、隐含领域惯例和专门化正确性标准所导致的“科学经验瓶颈”。
使用专家定义的科学案例和验收标准，指导智能体将代码库转化为支持任务生成、执行和科学验证的可执行环境。
利用经过验证的交互轨迹，为监督微调、强化学习和评估创建共享基础。
训练了 72B、9B 和 4B 规模的 PhAI-IDE 模型系列，并报告了从科学经验向更广泛的代码、推理和知识能力的迁移。

方法

ScienceIDE 使用专家定义的科学案例和验收标准，指导智能体将科学代码库转化为支持任务生成、执行和科学验证的可执行环境。来自这些环境的经过验证的交互轨迹随后用于监督微调、强化学习和评估。作者在此基础上训练了 PhAI-IDE-72B、PhAI-IDE-9B 和 PhAI-IDE-4B。

关键结果

PhAI-IDE 模型系列在留出科学代码修复任务以及选定的通用代码、推理和知识基准上均取得提升。作者将这些提升解读为科学经验向更广泛能力正向迁移的证据。

局限性

评估仅在留出科学代码修复任务和选定的通用基准上报告，因此超出这些基准的覆盖范围尚未得到验证。
更广泛的迁移主张被表述为“提供证据”，而非决定性证明。
摘要指出，碎片化工具链、隐含领域惯例和专门化正确性标准使得将科学代码转化为可靠学习体验变得困难。

资源

论文