Latent-Foresight：面向潜在世界模型的端到端可预测表示学习

arXiv 2026 37.9 method

TLDR

提出Latent-Foresight，端到端联合学习潜在分词器与基于流的生成动力学模型，构造可预测的潜在表示。

评分理由

The paper addresses a clear limitation of two-stage world models by jointly optimizing representation learning and dynamics prediction, with design choices to prevent latent collapse. Strong empirical claims are made across future scene understanding tasks, but the abstract lacks specific benchmark details and does not address interactive or RL settings.

Read-first 评分解释

综合优先阅读分 37.9，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 41。

近期性 5%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 15%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、实验、结果

主题相关性 25%

58.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 15%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码、GitHub

图谱声望 15%

5.7

基于可用 OpenAlex 引用关系构建局部引用图，并计算 PageRank 风格的图谱声望。局部 PageRank：0.0016

引用影响力 15%

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：0

引用速度 10%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：488。

关键词评分

world model

world dynamics prediction

generative world model

video world model

world simulator

interactive world model

model-based reinforcement learning world model

深度分析

创新点

端到端联合学习潜在分词器和基于流的生成式动力学模型，而非采用两阶段流程和冻结的压缩特征。
表示学习被显式地塑造为支持时间可预测性，解决了固定降维、独立训练的自编码器或原始VFM特征缺乏可预测性保证的问题。
在联合优化过程中防止潜在坍缩并使重建与生成目标对齐的关键设计选择。
消除单独的训练阶段，包括在高分辨率适配阶段。

方法

Latent-Foresight 联合训练潜在分词器和基于流的生成式动力学模型，通过防止潜在坍缩并将重建与生成目标对齐的设计选择来实现。该方法在多个未来场景理解任务和预测时域上与两阶段基线进行对比评估，包括高分辨率适配。

关键结果

Latent-Foresight 学习到时间上更连贯的潜在表示，在多个未来场景理解任务和预测时域上持续优于两阶段基线，同时去除了单独的训练阶段。

资源

论文