AutoGUIWorld：图像生成器作为GUI智能体的视觉世界模型

arXiv 2026 36.5 method

TLDR

AutoGUIWorld将图像生成器用作视觉世界模型，无需运行软件即可合成GUI轨迹，提升OSWorld和ScienceBoard上的GUI智能体性能。

评分理由

The paper presents a clever data generation framework that leverages image generators and planners to create diverse GUI interaction data, with strong empirical gains on real benchmarks. However, the reliance on generated trajectories may raise questions about fidelity and generalization, and the abstract does not detail limitations or failure cases.

Read-first 评分解释

综合优先阅读分 36.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 48。

近期性 5%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

主题相关性 25%

68.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 15%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：评估、结果

可复现性 15%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

图谱声望 15%

5.7

基于可用 OpenAlex 引用关系构建局部引用图，并计算 PageRank 风格的图谱声望。局部 PageRank：0.0016

引用影响力 15%

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：0

引用速度 10%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文

排序敏感性

稳定性：volatile；排名波动范围：416。

关键词评分

world model

generative world model

world simulator

interactive world model

world dynamics prediction

video world model

model-based reinforcement learning world model

深度分析

创新点

提出AutoGUIWorld，一种无需部署或运行相应软件环境即可合成GUI交互轨迹的数据生成框架。
将图像生成器的视觉先验与规划器的任务知识相结合，将图像生成器用作视觉世界模型，根据规划的原子动作及预期视觉结果迭代编辑截图。
通过动作接地和转换级质量过滤，生成79,266个跨Ubuntu、Windows、macOS和Chrome的空间标注步骤级训练样本。

方法

AutoGUIWorld从操作系统上下文、视觉外观和界面状态的结构化规范中采样初始GUI场景，然后根据这些场景生成任务。规划器指定原子动作及其预期视觉结果，图像生成器迭代编辑当前截图以产生后续观察。经过动作接地和转换级质量过滤后，生成的轨迹用于微调Qwen3.5-35B-A3B，并在OSWorld和ScienceBoard上进行评估。

关键结果

在AutoGUIWorld轨迹上微调Qwen3.5-35B-A3B，使OSWorld平均任务得分从33.0%提升至40.8%，ScienceBoard任务成功率从14.0%提升至32.2%。

技术栈

Qwen3.5-35B-A3BOSWorldScienceBoardImage GeneratorsPlanner

资源

论文