AVL-JEPA:防止联合嵌入预测架构世界模型中的因果动态信息坍缩
TLDR
AVL-JEPA通过动作锚定和视觉不变性路径,防止因果动态信息坍缩,提升扰动下的控制性能。
评分理由
The paper identifies a clear failure mode and proposes a method with supporting ablations on four control tasks. However, the abstract lacks baseline details and statistical rigor, and the tasks may be simulated rather than physically real-world.
Read-first 评分解释
综合优先阅读分 31.5,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 34。
研究版图角色
前沿论文
排序敏感性
稳定性:volatile;排名波动范围:232。
关键词评分
深度分析
创新点
- 识别出联合嵌入预测架构中的“因果动态信息坍缩”失效模式:视觉信息被保留,而与动作相关的物理后果信息被丢弃。
- 提出动作锚定的视觉不变性潜变量(AVL)以防止因果动态信息坍缩。
- 将执行的动作作为辅助动态锚点,鼓励模型保留动态信息。
- 引入视觉不变性路径,在对齐扰动与干净潜变量预测的同时不丢弃动态信息,迫使模型充分理解和利用因果动态信息。
- 通过物理后果对齐、干净-噪声动态一致性以及目标转移子空间擦除的因果效应来评估因果动态信息的保留情况。
方法
AVL扩展了联合嵌入预测架构世界模型,引入动作锚定的辅助动态锚点和视觉不变性路径,将扰动与干净潜变量预测对齐。在四个机器人控制任务(TwoRoom, PushT, OGBench Cube, Reacher)上评估,包括视觉扰动下的成功率、干净环境性能、物理后果对齐、干净-噪声动态一致性和目标转移子空间擦除的因果效应。
关键结果
AVL在四个机器人控制任务上显著提高了视觉扰动下的成功率,同时保持了干净环境性能。进一步评估显示物理后果对齐和干净-噪声动态一致性改善,并提供了因果证据表明与规划相关的动态信息未被坍缩。
技术栈
Joint Embedding Predictive Architectures (JEPA)Action-grounded Vision-invariance Latent (AVL)