基于自监督学习的预测世界模型探索学习

arXiv 25.2 2025 58.4 method

TLDR

提出一种通过自监督学习具有预测世界模型的内在动机代理，在18款Atari游戏上取得优越性能。

评分理由

The paper introduces a novel approach combining cognitive elements and self-supervised learning for world model-based exploration, with strong empirical results on Atari games. However, it lacks real-world validation and generalizability beyond simulated environments.

Read-first 评分解释

综合优先阅读分 58.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 44。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：评估、结果

主题相关性 42%

62.9

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：272。

关键词评分

world model

world dynamics prediction

model-based reinforcement learning world model

interactive world model

world simulator

video world model

generative world model

深度分析

创新点

提出利用若干被忽视的认知元素为内在动机代理构建内部世界模型
采用自监督学习实现无需手工设计奖励函数的探索
展示了在Atari游戏中认知技能（反应性和深思熟虑行为）的出现

方法

该方法涉及从认知元素构建内部世界模型，并通过自监督学习训练代理以生成内在奖励。代理在18款Atari游戏上进行评估，并在密集和稀疏奖励设置中与最先进方法进行性能比较。

关键结果

代理在密集和稀疏奖励环境的许多测试案例中取得了优于最先进方法的性能，并且在需要反应性和深思熟虑行为的游戏中出现了认知技能。

局限性

评估仅限于18款Atari游戏，可能无法推广到更复杂或多样化的环境
摘要中未详细说明所使用的具体认知元素，使得该方法部分未明确
优越性能的声明被限定为'在许多测试案例中'，表明并非在所有场景中都有一致的改进

技术栈

Self-supervised learningWorld modelAtari gamesIntrinsic reward

资源

论文