Auto-MD-bench：评估面向真实世界医学任务的自动研究智能体
TLDR
引入Auto-MD-bench医学基准，评估四个自主智能体，发现主要指标不能保证校准与稳健性。
评分理由
The paper's strength is its realistic benchmark of clinical tasks and multi-agent evaluation, revealing that AUROC alone is insufficient for medical deployment. A weakness is that the abstract is truncated, leaving some metric and baseline details unclear.
Read-first 评分解释
综合优先阅读分 62.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 51。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：118。
关键词评分
深度分析
创新点
- 提出了Auto-MD-bench基准，包含来自10个临床数据集的15项真实世界医学任务，并在队列、医院和时间段上进行外部验证。
- 评估了四个自主研究智能体（AIDE、AI Scientist v2、Codex和Autoresearch）在真实世界医学ML任务上的表现，涵盖生存分析、分类和序列预测。
- 表明仅凭主要任务表现不足以评估自主临床建模，还必须考虑校准和跨人群稳健性等医疗相关指标。
方法
Auto-MD-bench包含来自10个临床数据集的15项真实世界医学任务，涵盖生存分析、分类和序列预测，并在队列、医院和时间段上进行外部验证。研究评估了四个自主智能体（AIDE、AI Scientist v2、Codex和Autoresearch）的主要预测性能以及额外医疗相关指标，包括校准和对人群偏移的稳健性。
关键结果
最强的智能体取得了有竞争力的主要分数，但其预测风险的校准程度低于简单基线模型；主要分数几乎相同的模型可能表现出显著不同的校准水平，并在人群偏移下出现较大的性能差异。