OSWorld-Science：用于学习和使用科学软件的计算机使用智能体基准

arXiv 2026 52.8 method

TLDR

提出OSWorld-Science基准与评估环境，面向科学软件任务中的计算机使用智能体，涵盖12个VLM与146项任务。

评分理由

The benchmark is well-designed with artifact-based evaluation and expert-AI co-design, providing strong empirical results. However, the abstract focuses on task coverage and harness rather than broader claims of autonomous discovery, limiting relevance for discovery-focused keywords.

Read-first 评分解释

综合优先阅读分 52.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 36。

近期性 8%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：分析、基准、评估、结果

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：工件

主题相关性 42%

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：AI scientist、automated scientific discovery、autonomous research agent、automated research、literature review agent、survey generation、automated experimentation、experiment design agent、AI for scientific research、paper writing agent、research automation、scientific discovery agent

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：139。

关键词评分

AI for scientific research

automated experimentation

research automation

autonomous research agent

automated research

automated scientific discovery

scientific discovery agent

AI scientist

experiment design agent

literature review agent

survey generation

paper writing agent

深度分析

创新点

提出了OSWorld-Science，一个面向科学软件工作流中计算机使用智能体的基准测试与评估环境。
提供了跨越多个科学领域和软件配置的146项具有科学意义的任务，这些任务通过专家提议和迭代式人机协同设计开发。
采用基于产物和基于执行的评估，由任务特定评估器检查应用状态和生成产物，并对部分完成结果给予部分得分。
集成一个专用智能体框架，包含模型适配器、交互循环控制和轨迹记录，用于比较模型和交互策略。
分析了12个VLM在多语言、推理努力、上下文长度等因素上的表现，以得出未来发展方向。

方法

该基准包含146项任务，涵盖分子绘制与逆合成、病理图像分析、统计计算和物理模拟等领域。任务通过专家提议和迭代式人机协同设计开发，并以科学价值和难度作为筛选标准。评估使用任务特定的基于执行的评估器，检查应用状态和生成的产物，包括分子结构、分割掩膜、图表和数值结果，并对不完整结果给予部分得分；定制框架集成了模型适配器、交互循环控制和轨迹记录，以支持12个VLM和交互策略的比较。

关键结果

当前最先进的VLM即便配备强大的框架，在解决科学领域的关键问题上仍面临挑战。论文还报告了跨多语言、推理努力、上下文长度等因素的分析，以得出相关结论和未来方向。

局限性

摘要除了指出现有VLM在科学软件工作流中仍面临挑战这一总体结论外，未说明该基准或研究的具体局限性。

技术栈

Visual Language Models (VLMs)Model adaptersInteraction-loop controlTrajectory logging

资源

论文