⌁ Awesome World Model Hub 论文 · 数据集 · 项目
← 返回论文列表

GUI-CC:将GUI世界模型作为智能体环境进行上下文一致性基准测试

arXiv 2026 40.3 benchmark

TLDR

提出GUI-CC,评测GUI世界模型在多步智能体环境中的上下文一致性,发现单步准确不保证可靠 rollout。

评分理由

Strengths: addresses a key gap between one-step evaluation and multi-step use, with offline and online tracks using real mobile trajectories and emulator-verified tasks. Weaknesses: visible abstract lacks details on baselines and metric formulations, and the benchmark is limited to mobile GUI environments.

Read-first 评分解释

综合优先阅读分 40.3,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 48。

近期性 5%
100

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2026

方法质量 15%
80

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:基准、评估、实验、指标

主题相关性 25%
68.6

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 15%
30

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:无

图谱声望 15%
10.9

基于可用 OpenAlex 引用关系构建局部引用图,并计算 PageRank 风格的图谱声望。 局部 PageRank:0.0031

引用影响力 15%
0

使用 OpenAlex 形态的引用元数据作为文献关注度信号,并与论文本身质量分开处理。 引用数:0

引用速度 10%
0

引用速度按发表年限估算年均引用,降低旧论文天然占优的偏差。 年均引用:0.00

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性:volatile;排名波动范围:410。

关键词评分

world model
9
world simulator
8
generative world model
8
interactive world model
8
world dynamics prediction
8
model-based reinforcement learning world model
4
video world model
3

深度分析

创新点

  • 提出GUI-CC基准,用于评估GUI世界模型作为多步智能体环境(而非孤立的单步下一屏幕预测器)时的上下文一致性。
  • 提供两个互补的评测轨道:离线参考动作轨道,沿真实移动GUI轨迹滚动模型;在线智能体循环轨道,让固定的探测智能体与模型生成的UI交互。
  • 从GUIOdyssey构建500个离线轨迹任务,并构建覆盖30个移动应用的200个模拟器验证的在线任务;评测指标包括转换保真度、转换合理性、上下文一致性和任务进展。

方法

GUI-CC通过沿参考移动GUI轨迹的离线展开以及与模型生成UI的在线智能体循环交互来评估GUI世界模型。包含源自GUIOdyssey的500个离线任务和覆盖30个移动应用的200个模拟器验证的在线任务,测量转换保真度、转换合理性、上下文一致性和任务进展。

关键结果

合理的单步生成并不能保证可靠的环境模拟:当前模型往往生成看起来可用的屏幕,却无法保留任务相关上下文或支持可执行的多步展开。

标签