MoP-JEPA:面向随机JEPA世界模型的硬分配预测器混合
TLDR
MoP-JEPA使用硬分配预测器混合避免随机JEPA世界模型中的崩溃,在OGBench上实现高规划成功率。
评分理由
The paper provides strong theoretical proofs and empirical results showing that deterministic predictors fail in stochastic environments, while MoP-JEPA's hard-assigned predictors quantize transitions effectively. However, the evaluation is limited to offline data and the verification protocol adds complexity.
Read-first 评分解释
综合优先阅读分 43.9,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 45。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性:volatile;排名波动范围:335。
关键词评分
深度分析
创新点
- 用于JEPA世界模型的硬分配预测器混合,以处理随机转换
- 证明确定性预测器和门控混合专家预测器在随机环境中坍缩到条件均值
- 证明硬分配预测器收敛到转换分布的量化器,每个后继模式对应一个预测头
- 验证协议,防止多预测评估中的覆盖搭便车问题(输入无关的码本控制、上下文打乱测试、路由器门控读出、转换精度守卫、验证路由准则)
- 证明基于预测模式的规划在OGBench任务上显著优于单预测器展开和其他预测器
方法
MoP-JEPA将JEPA世界模型扩展为硬分配预测器混合。论文从理论上证明了确定性预测器和门控MoE预测器在随机环境中的坍缩,以及硬分配预测器收敛到量化器。在OGBench离线数据上采用无泄漏评估,比较了确定性、门控MoE和变分预测器的规划成功率,并引入了验证协议以确保公平的多预测评估。
关键结果
基于单预测器展开的规划仅达到0.02–0.09的成功率,而MoP-JEPA的预测模式最高达到0.85,在每个任务上均优于所有基线。在验证路由准则下,MoP-JEPA在所有三个迷宫中比最强的软替代方案高出2–5倍,同一模型在真实执行中于最难迷宫上排名第二(共七个)。