FrontierCS 2

数据集分析

LLM 智能体能否为前沿计算机科学研发做出贡献？我们推出了 FrontierCS 2，这是一个包含 48 个开放式任务的基准。我们选取一篇论文及其作者发布的代码，然后删除论文所对应的贡献实现。被删除的代码成为设定基准的人类参考实现。早期的开放式基准为每个智能体提供一个问题描述，并在运行结束后对单个程序进行评分。FrontierCS 2 则将智能体置于研究环境中：智能体继承一个可工作的代码仓库，并可在任意时刻提交补丁。对于每个补丁，评审器会返回一个开发套件得分，但会对评估器、留出的最终套件以及参考实现保密；最终提交则在该套件上对照参考实现进行评分。这些任务涵盖 13 个领域，从机器学习系统和高性能计算，到数据库、安全和机器人技术。除这 48 个任务外，FrontierCS 2 还保留了一个包含 100 多个任务的私有集合，将在未来公布。我们评估了 12 个智能体，表现最好的是 Claude Opus 5.5，其运行通过率为 58%。有 16 个任务没有任何一次运行通过。得分更高并不等同于通过：大多数在综合最终得分上超过参考实现的运行，仍会在某项指标或工作负载上有所不足。在智能体与任务共享的能力尺度上，中位任务的难度大致相当于最强智能体能够处理的水平。