⌁ Awesome World Model Hub 论文 · 数据集 · 项目
English GitHub
← 返回论文列表

梦想控制：通过潜在想象学习行为

ICLR 20 2020 64.5 method

TLDR

Dreamer利用学习的世界模型进行潜在想象，从图像高效学习行为，在20个视觉控制任务上达到最优。

评分理由

The paper introduces a novel method for propagating gradients through imagined trajectories in latent space, demonstrating strong data-efficiency and performance. However, it is evaluated only on simulated tasks, lacking real-world validation.

Read-first 评分解释

综合优先阅读分 64.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 55。

主题相关性 42%
78.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。 关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%
73

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文：有；代码：有；数据：无；命中信号：GitHub

近期性 8%
42.4

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。 年份：2020

方法质量 25%
40

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号：无

研究版图角色

复现锚点

排序敏感性

稳定性：volatile；排名波动范围：372。

关键词评分

world model
10
model-based reinforcement learning world model
10
world dynamics prediction
9
generative world model
8
world simulator
7
interactive world model
6
video world model
5

深度分析

创新点

  • 仅通过在学到的世界模型中进行潜在想象来学习行为，无需真实环境交互进行策略更新
  • 将学习到的状态值的解析梯度通过紧凑潜在状态空间中想象的轨迹进行反向传播
  • 从高维图像中高效学习长时域任务

方法

Dreamer通过深度学习从高维感官输入（图像）中学习世界模型。然后，它通过在世界模型的紧凑潜在状态空间中想象轨迹，并将学习到的状态值的解析梯度反向传播通过这些轨迹来更新策略，从而学习行为。该智能体完全通过潜在想象进行训练，无需真实环境交互来更新策略。

关键结果

在20个具有挑战性的视觉控制任务上，Dreamer在数据效率、计算时间和最终性能方面超越了现有方法。

资源

论文代码

标签