上下文学习能否支持内在好奇心？
TLDR
理论探讨利用ICL作为无需更新的世界模型实现内在好奇，证明一般MDP不可行但非时序设置可行。
评分理由
Strengths: Clear theoretical contributions with both negative and positive results, addressing a practical bottleneck in exploration. Weaknesses: No empirical validation or real-world experiments; the abstract is incomplete (cut off), limiting full assessment.
Read-first 评分解释
综合优先阅读分 46.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 14。
研究版图角色
基础论文前沿论文桥接论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：381。
关键词评分
深度分析
创新点
- 探究上下文学习（ICL）能否作为无需更新的世界模型用于内在好奇心，从而消除昂贵的梯度内循环。
- 证明在一般马尔可夫决策过程中，使用ICL预测误差对学习进展进行无偏估计是不可能的，因为存在干扰项或实现约束。
- 证明在非时间设置（主动学习、贝叶斯实验设计）中，ICL导出的奖励能够有界且渐近收敛于真实学习进展的正面结果。
- 提出一个框架，利用ICL预测误差和反事实上下文操作来训练好奇的数据收集策略。
方法
本研究结合了理论证明（一般MDP的不可能性、非时间设置的正面结果）以及在连续和符号环境中的受控实验。探索策略仅利用上下文学习器的预测误差和反事实上下文操作来最大化学习进展，无需在轨迹内进行梯度更新。
关键结果
ICL驱动的框架成功训练了在非时间设置中能够最优探索的好奇数据收集策略，而一般MDP被证明无法通过ICL对学习进展进行无偏估计。
局限性
- 在一般马尔可夫决策过程中，使用ICL对学习进展进行无偏估计是不可能的；由此产生的内在奖励要么受到干扰项的影响，要么无法实现。
- 正面结果仅限于非时间设置的一个广泛子类（主动学习、贝叶斯实验设计），而非一般的序列决策。
- 该方法依赖于序列模型涌现的上下文学习能力，这些能力可能存在本文未探讨的固有局限性。
- 实验仅在受控的连续和符号环境中进行，现实世界的适用性尚未验证。