基于对象中心抽象的高效探索与判别性世界模型学习
TLDR
提出分层对象中心抽象，用于强化学习中的高效探索与判别性世界模型学习，在2D环境中优于基线。
评分理由
Strengths include a clear hierarchical abstraction that simplifies dynamics and enables efficient exploration, transfer, and long-horizon planning. Weaknesses are the limitation to 2D crafting and MiniHack environments and reliance on predefined object mappings, with no real-world validation.
Read-first 评分解释
综合优先阅读分 44，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 34。
研究版图角色
候选论文
排序敏感性
稳定性：volatile；排名波动范围：293。
关键词评分
深度分析
创新点
- 分层对象中心抽象：在状态抽象层面将物品建模在比像素更高的层次，在时间抽象层面将属性变化建模在比原始动作更高的层次
- 判别性世界模型：简化转移动态，实现对未来抽象状态的高效预测
- 基于计数的内在奖励：在抽象状态空间内引导高效探索
- 跨物品类型和环境的零样本与少样本迁移能力
- 利用所学抽象模型进行长时域规划的能力
方法
本文提出了一种完全基于模型的强化学习算法，使用对象中心抽象将状态表示为物品及其属性。它学习一个判别性世界模型来预测未来的抽象状态，采用基于计数的内在奖励引导探索，并规划到达任何已发现的抽象状态。物体映射通过监督学习获得，低级物体扰动策略通过强化学习获得。
关键结果
该模型在一套2D crafting和MiniHack环境中显著优于最先进的低级方法（无抽象）以及使用相同抽象的高性能无模型和基于模型的方法。它展示了高效的单任务求解、零样本和少样本迁移以及长时域规划能力。