当画面中仅有少量部分运动时，保持JEPA世界模型的可规划性

arXiv 2026 39.2 method, benchmark

TLDR

JEPA世界模型在少物移动时规划失败；逆动力学辅助损失恢复动作敏感性与规划。

评分理由

Strengths: clear problem identification via probing, a simple auxiliary loss fixes planning, and an action-sensitivity metric offers a necessary condition. Weaknesses: evaluations are in simulation only, and success rates remain moderate (e.g., 0.35 overall), limiting real-world claims.

Read-first 评分解释

综合优先阅读分 39.2，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 48。

近期性 5%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 15%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、评估

主题相关性 25%

68.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 15%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码

图谱声望 15%

5.7

基于可用 OpenAlex 引用关系构建局部引用图，并计算 PageRank 风格的图谱声望。局部 PageRank：0.0016

引用影响力 15%

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：0

引用速度 10%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：454。

关键词评分

world model

world dynamics prediction

model-based reinforcement learning world model

interactive world model

world simulator

video world model

generative world model

深度分析

创新点

提出SLIM，一个包含多个小物体、且在相同场景下配有视觉与语言目标的推动基准。
通过探针诊断LeWM/JEPA世界模型在SLIM上的失败：编码器潜在表示几乎对动作不敏感，无法解码推动器或物体位置。
提出一种逆动力学辅助损失，应用于编码器潜在表示和预测潜在表示，共享头在测试时丢弃。
提供一种无需环境访问即可计算的廉价动作敏感性探针，作为规划的经验性必要条件。
在修复后的潜在表示上，一个小型语言目标头无需重新训练世界模型即可根据句子进行规划。

方法

本文评估了能解决PushT的LeWM世界模型在SLIM上的表现；利用解码探针和rollout探针定位潜在动作敏感性的失败，然后通过逆动力学辅助损失训练编码器潜在表示和预测潜在表示，并在测试时丢弃共享头。评估包括规划成功率、PushT的时域泛化、对照实验与响应扫描、动作敏感性阈值，以及语言目标头基于句子的规划。

关键结果

原始LeWM在SLIM试验中成功率低于1%；逆动力学损失恢复所有探针指标，并将成功率从0.003提高到0.35（困难推动层级为0.16），同时改善PushT在两倍训练时域上的表现。语言目标头在导航上达到0.84（视觉目标oracle为1.00）；分阶段句子目标将中/难推动层级的成功率从0.04提高到0.25，与目标帧oracle相当。

局限性

单个目标句子很少能完成一次推动；推动任务需要分阶段的句子序列。
修复后在SLIM上的总体成功率仍为0.35，困难层级为0.16，远未达到脚本化控制器在所有层级上的完美表现。
动作敏感性探针是经验性必要条件，而非充分性保证。
语言目标导航仍低于视觉目标oracle（0.84对1.00）。

资源

论文