从好奇心到能力：世界模型如何与探索动态相互作用

arXiv 25.7 2025 45.7 method

TLDR

研究世界模型如何平衡好奇心与能力，比较Tabular和Dreamer智能体的探索模式。

评分理由

Strengths: bridges cognitive theories with RL, formalizes exploration trade-off. Weaknesses: limited to handcrafted abstractions and Dreamer; may not generalize to complex environments.

Read-first 评分解释

综合优先阅读分 45.7，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 31。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：分析

主题相关性 42%

44.3

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文

排序敏感性

稳定性：volatile；排名波动范围：404。

关键词评分

world model

model-based reinforcement learning world model

world dynamics prediction

generative world model

world simulator

interactive world model

video world model

深度分析

创新点

将内在动机的认知理论与强化学习相结合，研究好奇心（新奇性/信息增益）与能力（赋权）之间的权衡
比较两种基于模型的智能体（使用手工状态抽象的Tabular和学习世界模型的Dreamer），揭示不同的探索模式与交互
将自适应探索形式化为追求未知与可控之间的平衡，为认知理论和高效强化学习提供见解

方法

本研究比较了两种基于模型的智能体：使用手工状态抽象的表格型智能体（Tabular）和学习内部世界模型的Dreamer智能体。两者在需要平衡好奇心（新奇性或信息增益）与能力（赋权）的环境中进行评估，分析了探索模式与表征学习动态。

关键结果

表格型智能体表明，好奇心和能力以不同的模式引导探索，同时优先考虑两者能改善探索。Dreamer智能体揭示了探索与表征学习之间的双向交互，反映了好奇心与能力的发育共演化。

资源

论文