利用世界模型掌握记忆任务

ICLR 24 2024 59.8 method

TLDR

将SSM集成到MBRL世界模型(R2I)中，改善长期记忆与信用分配，在记忆任务上达SOTA。

评分理由

The paper addresses a key limitation of MBRL (long-term dependencies) with a novel integration of SSMs, showing strong empirical results across multiple benchmarks. However, it lacks real-world experiments and the abstract does not detail methodology or limitations beyond memory tasks.

Read-first 评分解释

综合优先阅读分 59.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 34。

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：GitHub

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、结果

主题相关性 42%

48.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

复现锚点

排序敏感性

稳定性：volatile；排名波动范围：282。

关键词评分

world model

model-based reinforcement learning world model

world dynamics prediction

generative world model

interactive world model

world simulator

video world model

深度分析

创新点

将状态空间模型（SSMs）集成到基于模型的强化学习智能体的世界模型中
新方法Recall to Imagine (R2I)，用于增强长期记忆和长时域信用分配
在复杂记忆领域Memory Maze上实现超人类性能
与最先进的MBRL方法DreamerV3相比，更快的挂钟时间收敛

方法

R2I将一类新的状态空间模型（SSMs）集成到MBRL智能体的世界模型中，以改善时间连贯性。该方法在包括BSuite、POPGym、Memory Maze、Atari和DMC在内的多样化任务集上进行了评估，并与DreamerV3及其他基线进行了比较。

关键结果

R2I在具有挑战性的记忆和信用分配任务（BSuite和POPGym）上建立了新的最先进结果，在Memory Maze上实现了超人类性能，并在经典强化学习任务（Atari和DMC）上保持了相当的性能，同时比DreamerV3在挂钟时间上收敛更快。

技术栈

State Space Models (SSMs)Model-Based Reinforcement Learning (MBRL)World ModelsRecall to Imagine (R2I)DreamerV3

资源

论文代码