seq-JEPA：不变-等变世界模型的自回归预测学习
TLDR
seq-JEPA通过从视图和动作序列中进行世界模型的自回归预测学习，学习分离的不变和等变表示。
评分理由
The paper introduces a novel architectural inductive bias to resolve the invariance-equivariance trade-off in SSL, which is a strength. However, the abstract is cut off, limiting full assessment of empirical results and potential limitations such as domain generality.
Read-first 评分解释
综合优先阅读分 47，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 34。
研究版图角色
前沿论文
排序敏感性
稳定性：volatile；排名波动范围：421。
关键词评分
深度分析
创新点
- 解决了联合嵌入SSL中不变性与等变性的权衡问题，无需依赖双重预测器或损失项
- 引入架构归纳偏置以学习分离的不变性和等变性表示
- 通过transformer编码器处理带有动作嵌入的视图序列，进行自回归预测学习
- 将预测头条件化于即将到来的动作，以预测下一个观测的表示
方法
seq-JEPA处理输入的不同视图的短序列，其中每个视图与产生下一个观测的相对变换（动作）的嵌入进行拼接。这些视图-动作对通过一个transformer编码器输出一个聚合表示，然后一个预测头根据即将到来的动作对该聚合表示进行条件化，以预测下一个观测的表示。该模型通过自回归预测学习进行训练，并在需要不变性（例如分类）和等变性（例如路径积分）的下游任务上进行评估。
关键结果
seq-JEPA在不变性和等变性需求的下游任务上都取得了强劲的性能，而无需牺牲其中一方，并且在需要序列聚合的任务上表现出色，例如跨动作的路径积分和跨眼动的预测学习。