HarmonyDream：世界模型内的任务协调

ICML 24 2024 51.6 method

TLDR

HarmonyDream通过平衡世界模型中的观测与奖励建模实现样本高效MBRL，在Atari 100K上达到最先进水平。

评分理由

The paper provides a clear empirical investigation and insight into task imbalance in world models, proposing a simple yet effective dynamic loss adjustment method. Strengths include strong experimental results on visual robotic tasks and Atari benchmarks, but the approach is limited to simulated environments and may not generalize to real-world settings.

Read-first 评分解释

综合优先阅读分 51.6，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 43。

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：代码、GitHub

近期性 6%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、实验、结果

主题相关性 29%

61.4

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

引用影响力 18%

10.1

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：1

引用速度 12%

5.9

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.33

研究版图角色

方法锚点复现锚点

排序敏感性

稳定性：volatile；排名波动范围：675。

关键词评分

world model

model-based reinforcement learning world model

world dynamics prediction

generative world model

world simulator

video world model

interactive world model

深度分析

创新点

通过缓解世界模型中观测建模或奖励建模的主导地位，揭示了样本高效MBRL中被忽视的潜力
提出HarmonyDream方法，自动调整损失系数以维持观测建模和奖励建模任务之间的动态平衡
在Atari 100K基准上取得新的最先进结果，并在视觉机器人任务上获得10%-69%的绝对性能提升

方法

作者通过专门的实证研究理解观测建模和奖励建模在世界模型中的作用。基于观测建模因环境复杂性和有限容量而困难、奖励建模缺乏丰富学习信号的见解，提出HarmonyDream，自动调整损失系数以维持任务协调。该方法使用基础MBRL方法在视觉机器人任务和Atari 100K基准上进行评估。

关键结果

HarmonyDream在视觉机器人任务上实现了10%-69%的绝对性能提升，并在Atari 100K基准上取得了新的最先进结果。

资源

论文代码