你的大语言模型是否秘密地是一个互联网世界模型？基于模型的Web智能体规划

arXiv 24.11 2024 68.2 method, application

TLDR

提出WebDreamer，用大语言模型作为世界模型，实现高效真实网站智能体规划。

评分理由

The paper introduces a novel model-based planning approach for web agents, demonstrating strong empirical results on both sandbox and real-world environments with significant efficiency gains. However, the reliance on LLMs as world models may introduce limitations in accuracy and generalizability not fully addressed.

Read-first 评分解释

综合优先阅读分 68.2，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 44。

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：GitHub

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、评估、结果

主题相关性 42%

62.9

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

方法锚点复现锚点

排序敏感性

稳定性：volatile；排名波动范围：142。

关键词评分

world model

world simulator

world dynamics prediction

generative world model

interactive world model

model-based reinforcement learning world model

video world model

深度分析

创新点

提出基于模型的规划框架WebDreamer，利用大语言模型同时作为世界模型和价值函数。
通过可扩展的数据合成流水线训练专用的大语言模型作为世界模型。
证明基于模型的规划在沙盒环境中与树搜索性能相当且效率高出4-5倍，并在真实网站上有效。

方法

本文提出WebDreamer，一个基于模型的Web智能体规划框架，使用大语言模型作为世界模型模拟动作结果，并作为价值函数。通过可扩展的数据合成流水线训练专用大语言模型（Dreamer-7B）。在VisualWebArena（沙盒）、Online-Mind2Web和Mind2Web-Live（真实网站）上，与反应式基线和树搜索进行对比，评估性能和效率。

关键结果

WebDreamer相比反应式基线取得显著性能提升，在沙盒环境中与树搜索性能相当且效率高出4-5倍。在真实网站上同样有效，训练得到的Dreamer-7B表现与GPT-4o媲美。

技术栈

LLMWebDreamerDreamer-7BGPT-4oVisualWebArenaMind2Web

资源

论文代码