当AI从事科学：评估自主AI科学家KOSMOS在放射生物学中的表现
TLDR
用随机基因零假设基准评估KOSMOS，三个假设中一个有效。
评分理由
The paper provides a rigorous evaluation with null models and real datasets, but is limited to three hypotheses in a specific domain. Strengths include clear methodology and empirical results; weaknesses include narrow scope and mixed success.
Read-first 评分解释
综合优先阅读分 64.7，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 72。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：21。
关键词评分
深度分析
创新点
- 使用简单随机基因零假设基准对自主AI科学家（KOSMOS）进行严格评估
- 将零假设模型审计应用于放射生物学中AI生成的假设
方法
KOSMOS，一个自主AI科学家，为放射生物学问题生成了三个假设。每个假设均使用随机基因零假设基准进行测试，采用斯皮尔曼相关性、经验p值和一致性指数等指标，评估AI的预测是否优于随机基因集。
关键结果
一个假设（CDO1预测辐射反应模块）得到强烈支持（r=0.70，经验p=0.0039）；一个用于前列腺放疗结局的12基因特征显著但效应量非唯一（C-index=0.61，p=0.017）；而DDR-p53假设未得到支持（rho=-0.40，p=0.76，与随机无法区分）。
局限性
- KOSMOS产生了一个错误假设和一个不确定结果，表明没有严格审计的AI生成假设可能具有误导性。
- 显著的12基因特征具有非唯一效应量，限制了其实用价值。
- 评估仅限于放射生物学中的三个特定问题，因此对其他领域的泛化能力未知。