Awesome Auto Research Hub 论文 · 数据集 · 项目
← 返回论文列表

通过IS成功模型评估已部署的LLM调查创建工具的影响

arXiv 2025 44 method

TLDR

通过IS成功模型评估已部署的LLM调查创建工具,采用混合评估与安全措施。

评分理由

The paper's strength lies in its real-world deployment and practical evaluation using the IS Success Model, offering a hybrid evaluation framework and safeguards. However, its scope is limited to survey creation, not general automated scientific discovery or autonomous research agents.

Read-first 评分解释

综合优先阅读分 44,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 34。

近期性 8%
86.7

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2025

方法质量 25%
70

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:评估、实验、结果

可复现性 25%
30

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:无

主题相关性 42%
28.3

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性:volatile;排名波动范围:15。

关键词评分

survey generation
10
AI for scientific research
6
automated research
5
research automation
5
AI scientist
1
automated scientific discovery
1
autonomous research agent
1
literature review agent
1
automated experimentation
1
experiment design agent
1
paper writing agent
1
scientific discovery agent
1

深度分析

创新点

  • 首次将IS成功模型应用于用于调查创建的生成式AI系统
  • 提出了结合自动与人工评估的混合评估框架
  • 实施了安全措施以减轻部署后风险并支持负责任整合

方法

本研究在实际环境中部署了一个由LLM驱动的调查创建工具,并使用DeLone和McLean IS成功模型进行评估,采用了自动与人工评估的混合框架。

关键结果

摘要未报告具体实验结果;它强调了贡献和评估方法。

标签

HCLG