Awesome Auto Research Hub 论文 · 数据集 · 项目
← 返回论文列表

AutoEmpirical:基于LLM的实证软件故障分析自动化研究

arXiv 2025 51.4 method

TLDR

LLM自动化实证软件故障分析,处理时间从数周缩短至约两小时(3829个故障)。

评分理由

Strengths: addresses labor-intensive fault analysis, shows significant efficiency gains with LLMs, uses real-world data. Weaknesses: only initial exploration, not fully automated end-to-end, limited to software faults, lacks comparison with other methods.

Read-first 评分解释

综合优先阅读分 51.4,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 35。

方法质量 25%
90

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:分析、数据集、评估、结果

近期性 8%
86.7

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2025

可复现性 25%
38

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:数据集

主题相关性 42%
29.2

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性:volatile;排名波动范围:93。

关键词评分

research automation
7
automated research
6
AI for scientific research
5
automated scientific discovery
3
automated experimentation
3
AI scientist
2
autonomous research agent
2
experiment design agent
2
scientific discovery agent
2
literature review agent
1
survey generation
1
paper writing agent
1

深度分析

创新点

  • 将实证软件故障研究分解为三个关键阶段:研究目标定义、数据准备和故障分析。
  • 应用LLMs对大规模数据集(3,829个软件故障)进行自动化故障分析。
  • 展示了显著的效率提升,将分析时间从数周缩短至约两小时。

方法

该研究将实证故障分析分解为三个关键阶段,并应用LLMs分析来自先前高质量实证研究的3,829个软件故障,测量处理时间并与传统手动工作进行比较。

关键结果

LLMs平均在约两小时内完成故障分析,而传统手动分析需要数周,展示了显著的效率提升。

局限性

  • 该方法是初步探索,尚未实现完全自动化的端到端系统。
  • 实现整个实证故障研究过程的完全自动化仍存在开放挑战。

标签

SEAI