ExplorationBench：在可验证的异界中衡量AI系统的探索能力
TLDR
提出ExplorationBench基准，用可验证外星世界评估AI的科学探索，避免靠记忆解题。
评分理由
The paper proposes a novel, concrete benchmark that addresses the difficult evaluation of scientific exploration by using executable alien worlds with exact verification. It evaluates multiple AI systems and reveals performance variability, but the synthetic alien-world setting may limit direct transferability to real-world scientific discovery, and details on task construction and limitations are sparse in the abstract.
Read-first 评分解释
综合优先阅读分 61.9，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 62。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：48。
关键词评分
深度分析
创新点
- 提出ExplorationBench基准，借助可验证的外星世界（规则可执行且与熟悉知识冲突）将科学探索评估转化为具体可行的框架，支持精确答案校验并阻止仅靠记忆解题。
- 提供AlienCode与AlienLogic两个沙盒，分别包含31个和24个发现目标、各70个任务，并配有缺陷手册、任务特定环境反馈和专用工具调用模式。
- 定义评估流程：AI系统需先探索沙盒，再解决留出任务，重点考察其获取并应用全新且不熟悉规则的能力。
方法
该基准包含AlienCode和AlienLogic两个沙盒，每个沙盒设有发现目标、任务、缺陷手册、任务特定环境反馈和专用工具调用模式。系统利用这些资源探索沙盒，然后解决留出任务。研究评估了十个AI系统；可执行的世界规则支持精确答案校验，与熟悉知识冲突的设计则阻断基于记忆的捷径。
关键结果
最强评估系统能够获取并应用不熟悉的规则，但不同轨迹间的表现差异显著，且持续探索可能使早期成果停滞甚至倒退。
局限性
- 该工作仅被描述为迈向可通过探索获取并应用真正新知识的AI系统的一步，而非科学探索的完整解决方案。
- 系统行为不稳定：不同轨迹间表现差异显著，持续探索可能使早期成果停滞或逆转。