在潜在世界模型中学习内在动力学
TLDR
提出潜在世界模型中动作可预测性作为保留内在动力学的归纳偏置,并在Push-T上验证。
评分理由
The paper provides a theoretical bound and empirical evidence linking action predictability to preserving control-relevant dynamics, with a simple method. However, evaluation is limited to a simulated Push-T benchmark and the abstract truncates before full results.
Read-first 评分解释
综合优先阅读分 35.3,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 33。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性:volatile;排名波动范围:460。
关键词评分
深度分析
创新点
- 提出动作可预测性(action predictability),即从连续潜在状态重建动作,作为在潜在世界模型中保留内在动力学的归纳偏置。
- 提供理论结果:当编码器将同一状态和外观下不同动作的可区分结果合并时,平方逆预测误差存在正下界,且前向预测仍可保持精确。
- 引入Concat IDM,它从拼接的潜在状态预测动作,并利用离线轨迹中已有的动作标签更新共享编码器,不改变测试时规划器。
- 通过受控外观多样性比较、监督干预和潜在探针,实证验证了动作预测在保留控制相关转移信息中的作用。
方法
作者将动作可预测性形式化为从连续潜在状态重建动作,并推导出当编码器将同一状态和外观下不同动作的可区分结果合并时平方逆预测误差的下界。他们使用受控外观多样性比较、监督干预和潜在探针验证假设,并将该思想实例化为Concat IDM:从拼接的潜在状态预测动作,利用离线轨迹中的动作标签更新共享编码器,同时保持测试时规划器不变。评估使用具有24种外观的Push-T,进行三次独立训练,以规划成功率和相对于单外观训练成对提升为指标。
关键结果
在具有24种外观的Push-T上,Concat IDM在三次独立训练中将规划成功率从9.1%提升至77.2%;其成对提升比单外观训练的改进高52.9个百分点。理论分析表明,合并同一状态和外观下不同动作的可区分结果会对平方逆预测误差产生正下界,而前向预测仍可精确。