不完善的世界模型是可被利用的
TLDR
定义了强化学习中的模型利用，证明在大策略集上不可避免，并建立了与奖励黑客的形式化联系。
评分理由
Strengths: Provides a novel formal definition of model exploitation and connects it to reward hacking theory, with rigorous proofs. Weaknesses: No empirical validation or real-world experiments; purely theoretical analysis.
Read-first 评分解释
综合优先阅读分 47.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 23。
研究版图角色
基础论文前沿论文桥接论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：297。
关键词评分
深度分析
创新点
- 在强化学习中提出了模型利用（model exploitation）的新定义：若一个世界模型暗示某个策略应严格优于另一个，而真实环境的转移模型暗示相反，则该世界模型是可利用的。
- 建立了奖励黑客（reward hacking）与模型利用的一般理论，证明在大策略集上模型利用本质上是不可避免的，且奖励黑客是其特例。
- 引入了松弛的利用概念，并推导出可避免利用的安全视界（safe horizon）。
方法
本文构建了形式化理论框架，首先类比奖励黑客定义模型利用，但证明其不可避免性定理不直接适用。随后发展了一般理论，证明在大策略集上利用不可避免，并推导了有限策略集中不可黑客化的条件，发现这些条件对模型利用没有对应物。最后引入松弛的利用概念，推导出安全视界。
关键结果
理论证明模型利用在大策略集上本质上是不可避免的，且有限策略集中保证不可黑客化的条件无法排除模型利用。在松弛定义下，推导出可避免利用的安全视界。
局限性
- 大策略集上利用不可避免，限制了安全规划的可能性。
- 有限策略集中防止奖励黑客的条件对模型利用没有对应物。
- 松弛定义下推导的安全视界在实践中可能具有限制性。