用于LLM智能体离线策略评估的自回归扩散世界模型

arXiv 2026 58.5 method

TLDR

ADWM使用潜在扩散世界模型模拟环境响应，无需在线交互即可对LLM智能体进行离线策略评估。

评分理由

The paper introduces a novel combination of autoregressive and diffusion models to address compounding errors in world modeling for LLM agent evaluation. Strengths include a principled approach to handling discrete text actions and policy-conditioned score functions. Weaknesses are the lack of detailed empirical comparisons and potential limitations in scalability, though the abstract claims strong empirical results.

Read-first 评分解释

综合优先阅读分 58.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 48。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

引用影响力 18%

93.6

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.93640389

主题相关性 29%

68.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：评估

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

基础论文前沿论文桥接论文

排序敏感性

稳定性：volatile；排名波动范围：462。

关键词评分

world model

generative world model

world simulator

world dynamics prediction

interactive world model

model-based reinforcement learning world model

video world model

深度分析

创新点

提出ADWM，一种用于LLM智能体离线策略评估的潜在扩散世界模型，无需真实环境交互。
将每个转移建模为独立去噪过程，避免自回归世界模型固有的累积误差。
引入策略条件评分函数，使评估策略能够直接引导每一步的扩散生成。

方法

ADWM从预收集的轨迹中学习潜在扩散世界模型。它执行逐步展开，世界模型和LLM智能体按因果顺序交替，每个转移建模为独立去噪过程。评估策略通过策略条件评分函数直接引导扩散生成，确保模拟轨迹反映智能体的决策模式。

关键结果

ADWM在多种多轮智能体任务中实现了准确的价值估计和评估可靠性，展示了其作为离线LLM智能体评估实用框架的潜力。

局限性

依赖于预收集轨迹的可用性和覆盖范围，这可能限制其在数据稀疏或有偏环境中的适用性。

资源

论文