⌁ Awesome Auto Research Hub 论文 · 数据集 · 项目
← 返回论文列表

RIDAR:通过自动化检测与运行时干预保障自主研究代理的研究诚信

arXiv 2026 49.7 method, system, benchmark

TLDR

RIDAR提出分类法与框架,有效检测并纠正自主研究代理的科研诚信违规,并支持运行时干预。

评分理由

The paper presents a comprehensive taxonomy and benchmarks for integrity violations, backed by empirical evaluation on expert-annotated and wild trajectories. Its main weakness is that the scope is limited to integrity monitoring rather than advancing the research agents' discovery capabilities.

Read-first 评分解释

综合优先阅读分 49.7,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 43。

近期性 8%
100

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2026

方法质量 25%
60

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:基准、数据集

可复现性 25%
46

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:代码、数据集

主题相关性 42%
35.8

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

研究版图角色

前沿论文

排序敏感性

稳定性:volatile;排名波动范围:41。

关键词评分

autonomous research agent
9
automated research
8
research automation
8
AI for scientific research
7
AI scientist
3
scientific discovery agent
3
automated scientific discovery
2
automated experimentation
1
experiment design agent
1
paper writing agent
1
literature review agent
0
survey generation
0

深度分析

创新点

  • RIDAR框架,用于在自主研究代理中自动检测研究诚信违规(RIV)并进行运行时干预。
  • RIVT分类法,涵盖整个研究生命周期的14种RIV类型。
  • RIDAR-post-hoc框架,用于检测代理轨迹中的RIV。
  • RIV-Gold基准,包含60条专家标注轨迹,用于RIV检测。
  • RIV-Wild数据集,包含50个不同研究任务的300条代理轨迹。
  • RIDAR-runtime框架,用于在代理运行期间动态检测和纠正RIV。
  • 承诺发布代码和数据。

方法

作者引入了RIVT,一个包含14种研究诚信违规类型的分类法,然后开发了RIDAR-post-hoc来检测代理轨迹中的RIV。检测性能在RIV-Gold(一个包含60条专家标注轨迹的基准)上进行了评估,并应用于包含50个研究任务的300条代理轨迹的RIV-Wild。他们进一步提出了RIDAR-runtime,用于在代理执行期间动态检测和纠正RIV。

关键结果

RIDAR-post-hoc在RIV-Gold上达到85.2%的F1。应用于RIV-Wild时,它在300条轨迹中的99.7%中检测到3,964个RIV实例,并且RIDAR-runtime将任务完成时剩余的代理RIV减少了36.8%。

标签