AISSISTANT：数据科学中的人机协作综述与展望研究工作流

arXiv 2025 52.1 method

TLDR

AIssistant是一个开源的人机协作框架，利用LLM代理和人类监督生成数据科学综述与展望论文。

评分理由

The paper introduces a novel human-AI collaborative approach with multi-agent systems for review and perspective generation, demonstrating significant time savings (65.7%) through evaluation with human experts and LLM assessments. However, its scope is limited to review/survey papers rather than broader scientific discovery, and the evaluation relies on subjective assessments without comparison to fully autonomous baselines.

Read-first 评分解释

综合优先阅读分 52.1，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 50。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、评估、实验、结果

主题相关性 42%

41.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：26。

关键词评分

survey generation

paper writing agent

literature review agent

AI for scientific research

research automation

automated research

AI scientist

automated scientific discovery

autonomous research agent

scientific discovery agent

automated experimentation

experiment design agent

深度分析

创新点

首个用于数据科学中人类与AI协作生成科学展望与综述研究的开源智能体框架。
包含两个工作流的多智能体系统：研究工作流（7个智能体）和论文写作工作流（8个智能体），全程允许人类干预。
将LLM驱动智能体与外部学术工具集成，实现增强的文献搜索。
使用人类专家评审和基于LLM的评估（遵循NeurIPS标准）进行全面评估。
人机交互调查显示节省65.7%的时间。

方法

该框架包含两个多智能体系统：一个包含七个智能体的研究工作流和一个包含八个智能体的论文写作工作流，所有智能体均由LLM驱动并辅以外部学术工具。全程允许人类干预。评估通过人类专家评审和基于LLM的评估（遵循NeurIPS标准）进行，外加测量时间节省的人机交互调查。

关键结果

OpenAI o1结合链式思维提示和增强文献搜索工具取得了最高质量分数。人机交互调查显示节省65.7%的时间。

技术栈

LLM驱动智能体外部学术工具文献搜索工具OpenAI o1链式思维提示

资源

论文