自动化LLM速通基准：复现NanoGPT改进
TLDR
新基准评估AI智能体复现NanoGPT速通改进，LLMs有详细提示也难完成。
评分理由
Strengths: The benchmark is well-motivated, accessible, and realistic, targeting a necessary skill for autonomous research. Weaknesses: The abstract does not discuss limitations or generalizability beyond reproduction tasks, and the benchmark may not capture full scientific discovery.
Read-first 评分解释
综合优先阅读分 51.1，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 43。
研究版图角色
前沿论文桥接论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：45。
关键词评分
深度分析
创新点
- 引入了自动化LLM速通基准（Automated LLM Speedrunning Benchmark），这是一个利用NanoGPT速通竞赛评估AI智能体复现研究成果能力的新基准。
- 设计了19个任务，为智能体提供先前记录的训练脚本以及三种提示格式之一（伪代码、描述、类似论文的描述），以重新实现已知改进。
- 证明了该基准是非饱和的，因为当前具有最先进scaffolds的推理LLMs即使有详细提示也无法复现改进。
方法
该基准包含19个源自NanoGPT速通竞赛的任务，每个任务向AI智能体提供先前记录的训练脚本，并可选择提供关于改进的提示（伪代码、描述或类似论文的描述）。智能体必须修改脚本以复现加速，任务涵盖从算法到硬件感知优化的多样化代码级更改。评估了具有最先进scaffolds的最新推理LLMs重新实现这些已知创新的能力。
关键结果
最新的推理LLMs结合最先进的scaffolds在基准中难以重新实现已知创新，即使提供了详细提示，表明该基准是科学复现能力的非饱和度量。
局限性
- 该基准仅衡量现有结果的复现，这是自主研究的必要但不充分技能。
- 任务仅限于NanoGPT训练优化，可能无法捕捉科学复现挑战的全部多样性。
- 提示格式可能无法完全代表现实世界科学复现场景中可用的信息。