逆向贝尔曼方程：从Q值到世界模型
TLDR
证明基于价值的智能体隐式编码世界模型，提出P-learning提取模型，并展示准确动力学与泛化能力。
评分理由
Strengths include a novel theoretical connection between model-free and model-based RL, clear methodology (P-learning), and empirical validation on multiple environments. Weaknesses are limited to simulated domains and reliance on sufficient reward diversity; real-world applicability is not directly tested.
Read-first 评分解释
综合优先阅读分 59，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 37。
研究版图角色
基础论文前沿论文桥接论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：412。
关键词评分
深度分析
创新点
- 证明基于价值的智能体在足够丰富的奖励函数集上训练时隐式编码唯一且准确的世界模型，挑战了基于模型和无模型强化学习的传统二分法。
- 提出P-learning，作为Q-learning的逆模拟，通过采样智能体的Q值、策略和奖励来解码其内部环境模型。
- 提供了关于目标类型和数量的充分条件，使得智能体能够编码真实转移核P，覆盖有限或连续状态空间上的随机和确定性MDP。
- 证明仅基于智能体隐式世界模型训练的策略在分布外目标上也能达到准最优性能，揭示了隐藏的泛化能力。
方法
本文提出P-learning算法，通过逆Bellman方程，从智能体的Q值、策略和奖励中采样以提取隐式世界模型。理论分析给出了提取模型匹配真实转移核P的充分条件，覆盖有限或连续状态空间上的随机和确定性MDP。在Reacher、MountainCar和随机变体FourRooms上进行实证验证，智能体在少量奖励函数上训练后评估其隐式模型的准确性。
关键结果
在Reacher、MountainCar和随机FourRooms中，仅用少量奖励函数训练的智能体能编码准确的动力学。此外，仅基于Reacher智能体隐式世界模型训练的策略，在基于速度的分布外目标上实现了准最优性能，尽管训练时仅使用基于位置的目标。
局限性
- 理论结果提供了编码真实核的充分但不必要条件，当条件不满足时方法可能失效。
- 实证验证仅限于少数环境（Reacher、MountainCar、FourRooms），未在更复杂或高维领域验证泛化性。
- 方法需要训练足够丰富的奖励函数集（如多个目标），在某些场景下可能不切实际或代价高昂。
- 在Reacher中观察到的隐藏泛化能力可能不普遍适用于所有任务或奖励结构。
技术栈
Q-learningP-learninggoal-conditioned reinforcement learningBellman equation inversionMDPs