当画面中仅有少量部分运动时，保持JEPA世界模型的可规划性

数据集分析

用语言而非目标帧来指定目标，是使用潜在世界模型进行规划的自然接口，但测试它需要语言必须在多个物体之间作出区分的场景。我们构建了SLIM，一个包含多个小物体的推动基准，并在相同场景上提供配对的视觉与语言目标。在SLIM上，一个能解决PushT的LeWM世界模型在不到1%的试验中成功，尽管一个拥有模拟器状态的脚本控制器能解决所有难度层级。探针将失败定位在编码器：其潜在表示几乎对动作不敏感，推杆和物体的位置都无法从中解码，且展开（rollout）并不比将当前潜在表示直接向前复制更好。一种逆动力学辅助损失，通过一个在测试时丢弃的共享头同时应用于编码器潜在表示和预测潜在表示，恢复了所有探针，并将成功率从0.003提高到0.35（在困难推动层级为0.16，而目标无关策略在该层级得分为零），同时在两倍训练时域上改进了PushT。对照实验将该修复归因于流向编码器的梯度；响应扫描显示，一旦画面中有足够部分对动作产生响应，原始模型就能进行规划。一种廉价的动作敏感性探针，无需访问环境即可计算，充当经验上的必要条件：所有低于其阈值的配置都无法规划。在修复后的潜在表示上，一个小型语言目标头无需重新训练世界模型即可根据句子进行规划：它在导航上达到0.84（视觉目标oracle为1.00），当命名区域与诱饵互换时仍能跟随该区域，并且对未见名词优雅降级。单个目标句子很少能完成一次推动，但当将推动任务表示为一系列阶段句子时，该头将中等和困难推动层级的成功率从0.04提升到0.25，与目标帧oracle相当；并且当阶段之间的切换仅从潜在表示中读取时，结果也是如此。