VJEPA：作为概率世界模型的变分联合嵌入预测架构

arXiv 26.1 2026 56.1 method, theory

TLDR

VJEPA将JEPA扩展为概率世界模型，使用变分目标，实现无需重建的不确定性估计与控制。

评分理由

Strengths include theoretical unification with PSRs and Bayesian filtering, collapse avoidance guarantees, and zero-shot transfer via BJEPA. Weaknesses: empirical evaluation limited to a noisy environment experiment, lacking real-world benchmarks.

Read-first 评分解释

综合优先阅读分 56.1，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 34。

近期性 8%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、实验、验证

主题相关性 42%

48.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：418。

关键词评分

world model

world dynamics prediction

model-based reinforcement learning world model

interactive world model

generative world model

world simulator

video world model

深度分析

创新点

JEPA的概率泛化（VJEPA），通过变分目标学习未来潜在状态的预测分布
将表示学习与预测状态表示（PSR）和贝叶斯滤波统一
理论证明VJEPA表示可作为最优控制的充分信息状态，无需像素重建
自监督学习中避免坍缩的形式化保证
贝叶斯JEPA（BJEPA）扩展，将预测信念分解为学习到的动力学专家和模块化先验专家，通过专家乘积实现零样本任务迁移和约束满足
原则性的不确定性估计（例如通过采样构建可信区间），同时保持对观测的无似然性

方法

VJEPA通过用变分目标替代确定性回归来扩展联合嵌入预测架构（JEPA），该变分目标学习未来潜在状态的预测分布。BJEPA进一步将预测信念分解为动力学专家和先验专家，通过专家乘积组合。模型在噪声环境实验中进行评估，与依赖观测重建的生成基线进行比较。

关键结果

在噪声环境实验中，VJEPA和BJEPA成功过滤掉了导致生成基线表示坍缩的高方差干扰因素，展示了鲁棒的不确定性感知表示学习。

局限性

实证验证仅限于单个噪声环境实验；未展示对其他领域的泛化能力
BJEPA需要学习动力学专家和模块化先验专家，可能引入额外的训练复杂性和超参数敏感性
理论保证依赖于某些假设（例如充分信息状态），这些假设在实际场景中可能不成立

技术栈

JEPAVariational InferenceBayesian FilteringProduct of Experts

资源

论文