AI科学家何时应该停止?可验证的实验引导与拒绝机制用于自主发现
TLDR
CARTOGRAPH验证层通过实验引导、模糊性闭合和拒绝机制决定AI科学家何时停止,经多平台和实际审计验证。
评分理由
The paper introduces a theoretically grounded verification layer with strong empirical results across diverse testbeds, including a retrospective audit of real A-Lab claims. However, the local linear-Gaussian assumption may limit generalization to non-linear settings, and the abstract does not detail comparisons to other stopping criteria.
Read-first 评分解释
综合优先阅读分 72.9,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 70。
研究版图角色
排序敏感性
稳定性:volatile;排名波动范围:37。
关键词评分
深度分析
创新点
- CARTOGRAPH验证层结合了未解析子空间实验引导(选择)、显式模糊性闭合(解析)和基于残差的库不充分性检测(拒绝)
- 在局部线性-高斯桥接下推导出精确的未解析A-最优规则(CARTOGRAPH-A),原始未解析投影被证明为各向同性Fisher信息迹
- 闭式期望信息增益和Box-Hill被重新解释为局部比较器而非全局等价物
- 拒绝机制初步识别库外机制,然后在残差暴露结构失配时撤销这些识别
- 对A-Lab自主材料主张的回顾性审计,标记了所有不确定主张同时通过了已确认的主张
方法
本文介绍了CARTOGRAPH,一种验证层,通过未解析子空间引导选择实验,显式解析模糊性,并在检测到基于残差的库不充分性时拒绝。在局部线性-高斯桥接下,推导出CARTOGRAPH-A作为精确的A-最优规则,并与原始投影及闭式EIG/Box-Hill进行比较。评估涵盖五个测试平台,包括结构化级联、药代动力学机制识别、过滤EPA设置,以及对A-Lab自主材料系统中40个阳性主张的回顾性审计。
关键结果
CARTOGRAPH-A在d=8的重复结构化级联中以129胜0平15负(p ≈ 10⁻²¹)击败原始投影;它识别然后撤销了三个库外药代动力学机制,同时保持了一个库内对照;在A-Lab审计中,拒绝守卫标记了所有4个后来被标记为不确定的主张,并通过了32/36个已确认的主张。
局限性
- 推导依赖于局部线性-高斯桥接假设,该假设可能不全局成立
- 在低维药代动力学和过滤EPA设置中,观察到与分歧的近似平局,表明优势有限
- 拒绝机制在撤销之前初步错误识别了库外机制,因此实时可靠性依赖于残差检测
- 回顾性审计仅限于单个已发表系统(A-Lab),未证明对其他自主发现系统的泛化性
- 基于残差的库不充分性检测可能在残差未清晰暴露结构失配时无法标记