MLR-Copilot: 基于大语言模型代理的自主机器学习研究

arXiv 2024 59.6 method

TLDR

MLR-Copilot是一个利用LLM代理进行想法生成、实验实现和代码执行的自主ML研究框架。

评分理由

The paper presents a clear three-stage pipeline with RL-tuned LLM and HuggingFace integration, showing practical design. However, the abstract lacks detailed evaluation results and does not specify the nature of the five tasks, limiting assessment of empirical rigor.

Read-first 评分解释

综合优先阅读分 59.6，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 83。

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

主题相关性 42%

69.2

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：实验、结果

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码

研究版图角色

桥接论文

排序敏感性

稳定性：volatile；排名波动范围：117。

关键词评分

autonomous research agent

automated research

automated experimentation

research automation

automated scientific discovery

experiment design agent

AI for scientific research

scientific discovery agent

AI scientist

literature review agent

survey generation

paper writing agent

深度分析

创新点

包含三个阶段（想法生成、实验实现、代码执行）的自主ML研究框架
基于RL微调的大语言模型驱动的IdeaAgent，从现有研究论文生成可行想法和实验计划
ExperimentAgent检索原型代码，并可选地从HuggingFace检索候选模型和数据，将计划转换为可执行代码
迭代调试和人类反馈循环，提高可执行结果的成功率
通过初始生成后的训练进一步增强想法生成能力

方法

该框架包含三个阶段：IdeaAgent（RL微调的大语言模型）从研究论文生成想法和实验计划；ExperimentAgent利用检索到的原型代码以及可选地从HuggingFace获取的模型/数据，将计划转换为代码；然后运行实验并进行迭代调试和人类反馈。在五个ML研究任务上进行了评估。

关键结果

实验结果表明，该框架具有促进ML研究进展和创新的潜力。

技术栈

LLM AgentsRL-tuned LLMHuggingFaceprototype code retrievaliterative debugging and human feedback

资源

论文