你所想即你所见：通过视觉-语言好奇心驱动VLM智能体的探索

arXiv 2026 49 method

TLDR

GLANCE利用语言世界模型预测与视觉观察之间的差异作为内在好奇心，驱动VLM智能体的探索。

评分理由

Strengths include a novel integration of curiosity-driven exploration with VLM world models to address sparse-reward tasks. Weaknesses: the approach is limited to VLM agents and may require further validation across diverse environments.

Read-first 评分解释

综合优先阅读分 49，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 39。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

引用影响力 18%

71.4

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.71417748

主题相关性 29%

55.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：实验

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文桥接论文

排序敏感性

稳定性：volatile；排名波动范围：268。

关键词评分

world model

world dynamics prediction

model-based reinforcement learning world model

interactive world model

world simulator

generative world model

video world model

深度分析

创新点

GLANCE框架，通过将智能体的语言世界模型锚定到演化目标网络的稳定视觉表示上，统一了推理与探索
利用语言预测与视觉现实之间的差异作为强化学习中的内在好奇心信号，驱动探索
将“智能体所想”与“智能体所见”对齐作为解决复杂或稀疏智能体任务的关键原则

方法

GLANCE采用具有语言世界模型（通过CoT推理）的VLM智能体，以及一个提供稳定视觉表示的演化目标网络。智能体的语言预测与实际视觉观察之间的差异被用作强化学习框架中的内在好奇心奖励，引导智能体探索其内部模型不确定的区域。该方法在一系列具有稀疏奖励的智能体任务上进行了评估。

关键结果

GLANCE有效驱动了稀疏奖励任务中的探索，证明将语言预测与视觉观察对齐是解决复杂智能体任务的关键。

技术栈

VLMReinforcement LearningCoT reasoningTarget Network

资源

论文