编码代理时代下ARC-AGI-3的可执行世界模型
TLDR
编码代理使用可执行Python世界模型解决ARC-AGI-3,GPT-5.5下15/25完全解决。
评分理由
The paper presents a novel approach combining executable world models with coding agents, showing strong results on public ARC-AGI-3 games. However, it lacks private validation and relies on specific LLM versions, limiting generalizability.
Read-first 评分解释
综合优先阅读分 63.3,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 32。
研究版图角色
前沿论文桥接论文方法锚点复现锚点
排序敏感性
稳定性:volatile;排名波动范围:520。
关键词评分
深度分析
创新点
- 可执行的Python世界模型,通过先前观察进行验证
- 重构为更简单的抽象,作为类似MDL简单性偏好的实用代理
- 在行动前通过模型进行规划
- 包含预定义世界模型接口、验证程序和执行器的脚本控制器,不含游戏特定逻辑
- 所有游戏使用相同的面向代理的提示、工作区和控制器,无手工编码的游戏特定信息
- 审计并关闭测试框架中的意外信息通道,以减少基准特定信息暴露
方法
该系统使用一个编码代理,该代理维护一个可执行的Python世界模型,根据观察进行验证,重构为更简单的抽象(作为MDL简单性偏好的代理),并在行动前通过模型进行规划。它采用脚本控制器、预定义世界模型接口、验证程序和执行器,没有手工编码的游戏特定逻辑。所有游戏使用相同的代理和提示,每次游戏从全新的代理实例和干净的工作区开始,无法访问先前状态。
关键结果
使用GPT-5.5高推理努力,代理完全解决了25个公开ARC-AGI-3游戏中的15个,平均每局RHAE为58.12%。使用GPT-5.4高推理努力,完全解决了8个游戏,平均每局RHAE为41.29%。
局限性
- 私有验证集上的性能尚未测试,因为该数据集尚不可用
- 结果仅为初步证据,基于有限的25个公开游戏
- 系统依赖于特定LLM版本(GPT-5.5和GPT-5.4)的高推理努力,可能不易广泛获取或推广
- 该方法有意直接,可能在处理更复杂或多样化的ARC-AGI-3任务时存在局限性
- 早期的测试框架存在意外信息通道,需要审计和关闭,表明系统设计存在潜在脆弱性
技术栈
PythonGPT-5.5GPT-5.4ARC-AGI-3