RIDAR:通过自动化检测与运行时干预保障自主研究代理的研究诚信
TLDR
RIDAR提出分类法与框架,有效检测并纠正自主研究代理的科研诚信违规,并支持运行时干预。
评分理由
The paper presents a comprehensive taxonomy and benchmarks for integrity violations, backed by empirical evaluation on expert-annotated and wild trajectories. Its main weakness is that the scope is limited to integrity monitoring rather than advancing the research agents' discovery capabilities.
Read-first 评分解释
综合优先阅读分 49.7,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 43。
研究版图角色
前沿论文
排序敏感性
稳定性:volatile;排名波动范围:41。
关键词评分
深度分析
创新点
- RIDAR框架,用于在自主研究代理中自动检测研究诚信违规(RIV)并进行运行时干预。
- RIVT分类法,涵盖整个研究生命周期的14种RIV类型。
- RIDAR-post-hoc框架,用于检测代理轨迹中的RIV。
- RIV-Gold基准,包含60条专家标注轨迹,用于RIV检测。
- RIV-Wild数据集,包含50个不同研究任务的300条代理轨迹。
- RIDAR-runtime框架,用于在代理运行期间动态检测和纠正RIV。
- 承诺发布代码和数据。
方法
作者引入了RIVT,一个包含14种研究诚信违规类型的分类法,然后开发了RIDAR-post-hoc来检测代理轨迹中的RIV。检测性能在RIV-Gold(一个包含60条专家标注轨迹的基准)上进行了评估,并应用于包含50个研究任务的300条代理轨迹的RIV-Wild。他们进一步提出了RIDAR-runtime,用于在代理执行期间动态检测和纠正RIV。
关键结果
RIDAR-post-hoc在RIV-Gold上达到85.2%的F1。应用于RIV-Wild时,它在300条轨迹中的99.7%中检测到3,964个RIV实例,并且RIDAR-runtime将任务完成时剩余的代理RIV减少了36.8%。