在线模仿学习的无奖励世界模型

arXiv 24.10 2024 45.3 method

TLDR

提出用于在线模仿学习的无奖励世界模型，利用潜在动力学和逆软Q学习在高维任务上实现专家级性能。

评分理由

The paper presents a novel integration of world models with imitation learning, addressing instability in high-dimensional tasks. Strengths include a clear methodology and diverse benchmarks (DMControl, MyoSuite, ManiSkill2). Weaknesses are the lack of explicit limitations or comparison details in the abstract.

Read-first 评分解释

综合优先阅读分 45.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 32。

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准

主题相关性 42%

45.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

候选论文

排序敏感性

稳定性：volatile；排名波动范围：313。

关键词评分

world model

world dynamics prediction

model-based reinforcement learning world model

generative world model

world simulator

interactive world model

video world model

深度分析

创新点

用于在线模仿学习的无奖励世界模型，在潜在空间中无需重建地学习环境动力学
在Q-策略空间中重新表述的逆软Q学习目标，以减轻奖励-策略空间优化中的不稳定性
使用学习的潜在动力学模型和规划控制以实现稳定的专家级性能

方法

该方法完全在潜在空间中学习环境动力学，无需重建，采用逆软Q学习目标在Q-策略空间中重新表述优化过程。它使用学习的潜在动力学模型和规划控制，从而能够高效且准确地建模高维输入和复杂动力学。

关键结果

该方法在包括DMControl、MyoSuite和ManiSkill2在内的多个基准测试上始终能实现稳定的专家级性能，证明了与现有在线模仿学习方法相比优越的实证性能。

技术栈

reward-free world modelslatent dynamics modelinverse soft-Q learningplanning for control

资源

论文