BRo-JEPA:在潜在空间中学习模算术
TLDR
BRo-JEPA使用块旋转预测器在潜在空间中学习模算术规则,在MNIST数字上达到99.46%零样本准确率。
评分理由
The paper presents a novel architecture that enforces circular structure in latent space, enabling strong generalization on a synthetic task. However, it lacks real-world evaluation and only tests on a single, simple domain (modulo-10 arithmetic with MNIST).
Read-first 评分解释
综合优先阅读分 56.3,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 22。
研究版图角色
基础论文前沿论文桥接论文复现锚点
排序敏感性
稳定性:volatile;排名波动范围:465。
关键词评分
深度分析
创新点
- 块旋转预测器,在潜在空间中施加模10算术的循环结构
- 基于JEPA的潜在世界模型,以MNIST数字为状态、算术运算为动作,学习模算术
- 实现对未见模算术运算的强零样本泛化
方法
本文使用MNIST数字作为状态,模算术运算作为动作,构建JEPA风格的潜在世界模型。对比了标准监督基线和带有加法运算嵌入的JEPA模型,以及提出的块旋转预测器——该预测器在潜在空间中强制施加模10算术的循环结构。最佳模型是基于ResNet的JEPA块旋转模型,通过零样本准确率和 rollout 准确率进行评估。
关键结果
最佳基于ResNet的JEPA块旋转模型在未见模算术运算上实现了99.46%的零样本准确率和99.46%的 rollout 准确率。
技术栈
ResNetJEPAMNISTPyTorch