通过并行观测预测改进基于标记的世界模型

ICML 24 2024 77.8 method

TLDR

提出并行观测预测加速基于标记的世界模型，实现15.4倍想象加速和超人类Atari性能。

评分理由

Strengths: addresses a key bottleneck in token-based world models with a novel POP mechanism, demonstrating significant speedup and strong empirical results on Atari 100K. Weaknesses: evaluation is limited to Atari games, and the abstract does not discuss limitations or comparisons to non-token-based approaches.

Read-first 评分解释

综合优先阅读分 77.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 61。

主题相关性 42%

87.1

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：代码、GitHub

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、结果

研究版图角色

复现锚点

排序敏感性

稳定性：volatile；排名波动范围：50。

关键词评分

world model

model-based reinforcement learning world model

generative world model

world dynamics prediction

world simulator

interactive world model

video world model

深度分析

创新点

并行观测预测（POP）机制
为Retentive Network（RetNet）增加针对强化学习定制的新型前向模式
REM（Retentive Environment Model）智能体

方法

基于标记的世界模型（TBWMs）将智能体经验表示为类似语言的离散标记序列，每个观测作为一个子序列。提出的POP机制利用增强后的RetNet（带有针对强化学习设计的前向模式）替代逐标记顺序生成，实现并行观测预测。REM智能体在Atari 100K基准上进行评估。

关键结果

REM相比之前的TBWMs实现了15.4倍的想象加速，在Atari 100K的26个游戏中12个达到超人类性能，且训练时间不到12小时。

资源

论文代码