CADWorld

数据集分析

计算机使用智能体越来越多地在真实桌面环境中进行评估，但现有基准对输出为持久、结构化工件的专业工程工作流的覆盖有限。机械计算机辅助设计（CAD）是一个特别严苛的场景：智能体必须在长时间交互跨度内操控几何和约束，同时生成一个尺寸、构造结构和下游工程状态均保持有效的原生项目。我们提出了 CADWorld，一个面向 FreeCAD 中长周期计算机使用的基准。CADWorld 包含 200 个任务，涵盖 11 个机械 CAD 工作流类别，包括草图绘制、零件建模、装配、CAM、FEM、测量、网格处理和技术制图。智能体通过截图和 GUI 操作进行交互，而成功与否由针对已保存的 FreeCAD 工件和辅助输出的任务特定可执行检查判定，涵盖几何属性、参数化结构、约束、制造状态和仿真结果。在完整基准测试中，七个当前智能体里最强的智能体仅达到 17.5% 的成功率，而专家参考通过率为 87.0%。我们发现，较弱的智能体往往在生成有效工件之前就失败，而较强的智能体则越来越多地在结构、几何和构造过程要求上失败。因此，CADWorld 揭示了通用 GUI 能力与持久、可验证工程工作流的可靠执行之间的差距。项目可访问 https://cad-world.github.io。