LLM-JEPA：大型语言模型与联合嵌入预测架构的结合

arXiv 25.9 2025 48.5 method

TLDR

提出LLM-JEPA，一种基于JEPA的LLM训练目标，在多个模型和数据集上优于标准方法。

评分理由

Strengths include a novel application of JEPA to language and strong empirical results across multiple models and datasets. Weaknesses are that the paper focuses solely on language tasks and does not address world modeling or dynamics, limiting relevance to the specified keywords.

Read-first 评分解释

综合优先阅读分 48.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 0。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：代码、数据集、GitHub

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：数据集、评估、结果

主题相关性 42%

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

前沿论文方法锚点复现锚点

排序敏感性

稳定性：volatile；排名波动范围：749。

关键词评分

world model

world simulator

generative world model

interactive world model

video world model

world dynamics prediction

model-based reinforcement learning world model

深度分析

创新点

首次将联合嵌入预测架构（JEPA）应用于语言模型，弥合了视觉与语言训练范式之间的差距。
开发了一种基于JEPA的LLM训练目标，适用于微调和预训练，优于标准的输入空间重建目标。

方法

本文提出LLM-JEPA，用受视觉JEPA启发的嵌入空间预测目标替代LLM训练中标准的输入空间重建目标。该方法在多个数据集（NL-RX、GSM8K、Spider、RottenTomatoes）和模型系列（Llama3、OpenELM、Gemma2、Olmo）上通过与标准LLM训练目标对比性能进行评估。

关键结果

LLM-JEPA在所有测试的模型和数据集上显著优于标准LLM训练目标，同时展现出对过拟合的鲁棒性。

局限性

结果作为第一步呈现，可能具有初步性；该方法在更广泛任务和更大规模上的有效性尚未确定。
摘要未明确具体架构或训练细节，潜在的实现挑战未被提及。

技术栈

LLM-JEPAJoint Embedding Predictive ArchitectureLlama3OpenELMGemma2Olmo

资源

论文代码