GUI-CC:将GUI世界模型作为智能体环境进行上下文一致性基准测试
TLDR
提出GUI-CC,评测GUI世界模型在多步智能体环境中的上下文一致性,发现单步准确不保证可靠 rollout。
评分理由
Strengths: addresses a key gap between one-step evaluation and multi-step use, with offline and online tracks using real mobile trajectories and emulator-verified tasks. Weaknesses: visible abstract lacks details on baselines and metric formulations, and the benchmark is limited to mobile GUI environments.
Read-first 评分解释
综合优先阅读分 40.3,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 48。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性:volatile;排名波动范围:410。
关键词评分
深度分析
创新点
- 提出GUI-CC基准,用于评估GUI世界模型作为多步智能体环境(而非孤立的单步下一屏幕预测器)时的上下文一致性。
- 提供两个互补的评测轨道:离线参考动作轨道,沿真实移动GUI轨迹滚动模型;在线智能体循环轨道,让固定的探测智能体与模型生成的UI交互。
- 从GUIOdyssey构建500个离线轨迹任务,并构建覆盖30个移动应用的200个模拟器验证的在线任务;评测指标包括转换保真度、转换合理性、上下文一致性和任务进展。
方法
GUI-CC通过沿参考移动GUI轨迹的离线展开以及与模型生成UI的在线智能体循环交互来评估GUI世界模型。包含源自GUIOdyssey的500个离线任务和覆盖30个移动应用的200个模拟器验证的在线任务,测量转换保真度、转换合理性、上下文一致性和任务进展。
关键结果
合理的单步生成并不能保证可靠的环境模拟:当前模型往往生成看起来可用的屏幕,却无法保留任务相关上下文或支持可执行的多步展开。