面向无约束目标导航的世界模型学习

NeurIPS 24 2024 63.3 method

TLDR

提出MUN算法，用于目标条件强化学习，建模任意子目标状态之间的状态转移，提升世界模型的泛化能力。

评分理由

Strengths: Addresses key generalization challenges in world models for goal navigation, with experimental results showing improved reliability and policy generalization. Weaknesses: Abstract lacks details on experimental setup and does not mention real-world validation, limiting assessment of practical applicability.

Read-first 评分解释

综合优先阅读分 63.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 40。

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：GitHub

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：实验、结果

主题相关性 42%

57.1

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

复现锚点

排序敏感性

稳定性：volatile；排名波动范围：221。

关键词评分

world model

model-based reinforcement learning world model

world dynamics prediction

world simulator

generative world model

interactive world model

video world model

深度分析

创新点

提出了MUN，一种新颖的目标导向探索算法，能够对回放缓冲区中任意子目标状态之间的状态转移进行建模。
解决了将世界模型泛化到沿记录轨迹的逆向转移以及不同轨迹间状态转移的挑战。
促进了学习在任意关键状态之间导航的策略，提高了对新目标设置的泛化能力。

方法

本文提出了MUN，一种目标导向的探索算法，学习世界模型以对回放缓冲区中任意子目标状态之间的状态转移进行建模。它使用回放缓冲区存储轨迹，并旨在泛化到逆向和跨轨迹转移。该算法在具有稀疏奖励的目标条件强化学习中进行评估。

关键结果

实验结果表明，MUN增强了世界模型的可靠性，并显著提高了策略在新目标设置上的泛化能力。

技术栈

Reinforcement LearningWorld ModelsGoal-Conditioned RLSparse RewardsReplay Buffer

资源

论文代码