是什么让视频世界模型潜在表示具有动作相关性：预测优于重建
TLDR
时间视频预训练（而非像素重建）驱动视频世界模型潜在空间中的动作相关结构，自监督编码器实现最佳权衡。
评分理由
Strengths: Clear experimental design with unified probe evaluation across diverse encoder families, identifying temporal prediction as key driver over reconstruction. Weaknesses: Limited to inverse-dynamics probing; static environments can mask temporal importance, potentially limiting generalizability.
Read-first 评分解释
综合优先阅读分 58.2，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 39。
研究版图角色
基础论文前沿论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：314。
关键词评分
深度分析
创新点
- 识别出时间预测结构（预测）是动作相关视频表示的主要因素，而非像素重建保真度。
- 提出统一的基于探针的评估框架，涵盖多种编码器家族（仅图像自监督、视频预训练、重建自编码器、扩散模型、捷径强制动力学模型），以隔离动作相关结构的来源。
- 证明视频预训练的自监督编码器在视觉保真度和动作预测之间实现了最佳的帕累托权衡，而重建模型可能具有接近零的动作可恢复性。
- 表明逆动力学监督显著提高了对视觉损坏的鲁棒性，表明动作感知目标在干净环境性能之外正则化了潜在几何结构。
方法
本研究使用统一的逆动力学探针目标来评估各种视频世界模型潜在空间中的动作相关结构。比较了来自仅图像自监督、视频预训练（含/不含潜在预测）、重建自编码器、扩散模型和捷径强制动力学模型的编码器，并在包括CALVIN在内的机器人基准上进行评估。通过测量动作可恢复性和视觉保真度，识别哪些预训练信号能诱导出动作相关的潜在表示。
关键结果
具有强像素解码质量的模型可能表现出接近零的动作可恢复性，而视频预训练的自监督编码器始终在视觉保真度和动作预测之间实现最佳帕累托权衡。自然视频的时间上下文提供了大部分增益；潜在预测仅带来较小的额外收益。逆动力学监督显著提高了对视觉损坏的鲁棒性。
局限性
- 静态环境任务（如CALVIN）可能部分掩盖时间结构的重要性，因为强图像先验足以应对，限制了该结论在此类设置中的普适性。
- 评估仅限于单一的逆动力学探针目标，可能无法捕捉动作相关性的所有方面或下游任务性能。
- 研究聚焦于机器人基准，未明确测试向其他领域（如自动驾驶、视频游戏）的迁移性。