Repo-To-Skill:将GitHub仓库提炼为AI4AI技能
TLDR
DisCo将GitHub仓库提炼为可复用已验证技能,显著提升ML研究智能体在多项基准上的表现。
评分理由
The paper introduces a practical method for capturing operational knowledge from repositories and shows strong empirical gains on several research benchmarks. However, the abstract is truncated and lacks details on skill verification, generalization, and limitations.
Read-first 评分解释
综合优先阅读分 53.9,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 62。
研究版图角色
排序敏感性
稳定性:volatile;排名波动范围:66。
关键词评分
深度分析
创新点
- 引入“操作知识”作为缺失的领域专门知识层;它区分了“知道方法”与“使方法有效运作”。
- 提出DisCo,一个技能驱动的研究智能体,在研究中创建技能并使用技能。
- 以两种互补形式提炼仓库知识:任务无关式地将广泛使用的仓库浓缩为可复用技能,以及任务导向式地为具体任务生成所需技能。
- 构建AREX技能库,包含从1000个广泛使用ML仓库中提炼出的5000+项已验证技能,覆盖20个领域和178个能力族。
方法
DisCo从GitHub仓库中提炼操作知识,形成紧凑、经过验证的技能。任务无关式提炼将1000个广泛使用的ML仓库浓缩为AREX技能库;任务导向式提炼则为具体任务生成所需技能。评估时,将配备技能的研究智能体与同一未配备技能的智能体在固定GPT-5.5主干、研究框架和下游执行预算下,于MLE-bench、PaperBench、FrontierCS和PassNet上进行对比。
关键结果
在GPT-5.5主干、研究框架和下游执行预算保持不变的情况下,配备技能的智能体比未配备技能的同一智能体在MLE-bench上高134.3%,在PaperBench上高34.4%,在FrontierCS上高9.2%,在PassNet上高14.0%。AREX技能库包含从1000个广泛使用的ML仓库中提炼出的5000+项已验证技能,组织为20个领域和178个能力族。