SAEScientist-Bench：AI智能体能否进行自主SAE可解释性研究？
TLDR
提出SAEScientist-Bench，评估AI智能体利用SAE进行自主机制可解释性研究：有潜力但落后于专家。
评分理由
The paper presents a novel benchmark with concrete tasks, expert baselines, and multiple agent configurations, providing empirical evidence of autonomous discovery capabilities. However, it also reveals limitations such as frequent misinterpretation of experimental measurements, and the focus is narrow to SAE interpretability rather than general scientific research.
Read-first 评分解释
综合优先阅读分 70.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 74。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：19。
关键词评分
深度分析
创新点
- 提出了SAEScientist-Bench基准，用于评估AI智能体能否利用SAE进行自主机制可解释性研究。
- 将事后监控与审计结合机制可解释性，定位为可靠递归自我改进所缺失的关键支柱。
- 定义了一套评估协议：智能体设计对比探针，在Gemma-2-9B-IT的Gemma Scope字典中搜索超过13.1万个特征，并以Neuronpedia锚定的专家参考特征为基准，在激活排名、对比文本选择性和因果引导上进行评判。
- 提供实证证据表明，前沿智能体展现出真正的发现能力，但仍低于专家表现，尤其在因果生成引导方面。
方法
给定目标概念，智能体设计对比探针，并在Gemma-2-9B-IT的Gemma Scope字典中搜索超过13.1万个特征以发现最优特征；以Neuronpedia锚定的专家参考特征为基准，通过激活排名、对比文本上的概念选择性和因果引导进行评估。研究比较了20项任务上的10种智能体配置。
关键结果
前沿智能体展现出真正的发现能力并在不同评估维度上领先，但仍远落后于专家基线：在将目标概念与对比控制区分开方面接近专家水平，而在因果生成引导上明显滞后。进一步分析表明，智能体能设计对比以排除虚假候选，但经常误解实验测量结果。
局限性
- 智能体总体仍远落后于专家基线。
- 智能体在因果生成引导上明显滞后。
- 智能体经常误解实验测量结果。