STORM: 基于随机Transformer的高效世界模型用于强化学习
TLDR
STORM结合Transformer与VAE构建高效随机世界模型，在Atari 100k上达126.7%人类表现且训练快速。
评分理由
The paper presents a novel architecture that effectively integrates sequence modeling and stochasticity, achieving state-of-the-art results on a standard benchmark with notable training efficiency. However, the evaluation is limited to the Atari domain, and the abstract does not discuss real-world applications or limitations beyond simulation.
Read-first 评分解释
综合优先阅读分 80.2，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 58。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：47。
关键词评分
深度分析
创新点
- 将Transformer架构与变分自编码器相结合，用于基于模型的强化学习中的随机世界建模
- 在不使用前瞻搜索技术的情况下，在Atari 100k基准测试上达到126.7%的平均人类表现，创下新纪录
- 高效训练：在单张NVIDIA GeForce RTX 3090上仅需4.3小时即可完成1.85小时实时交互经验的训练
方法
STORM是一种世界模型架构，它整合了Transformer的序列建模与生成能力以及变分自编码器的随机特性。世界模型通过自监督学习在环境的视觉输入上进行训练，智能体的策略通过利用模型生成的想象轨迹进行改进。在Atari 100k基准测试上进行评估，与不使用前瞻搜索的最先进方法进行比较，评估指标包括平均人类表现和训练时间。
关键结果
STORM在Atari 100k基准测试上达到了126.7%的平均人类表现，创下了不使用前瞻搜索方法的新纪录。在单张RTX 3090上，训练具有1.85小时实时交互经验的智能体仅需4.3小时，相比先前方法展现了更高的效率。