Next Forcing:基于多块预测的因果世界建模
TLDR
Next Forcing引入多块预测用于因果世界建模,提升视频生成的训练收敛、准确性和推理速度。
评分理由
The paper presents a novel multi-chunk prediction framework that addresses slow training and inference in autoregressive video world models, with strong empirical results at high frame rates. However, the abstract lacks details on limitations, such as scalability or generalization to diverse environments.
Read-first 评分解释
综合优先阅读分 63.1,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 46。
研究版图角色
排序敏感性
稳定性:volatile;排名波动范围:435。
关键词评分
深度分析
创新点
- 多块预测(MCP)框架用于因果世界建模,受大语言模型中多令牌预测启发。
- 轻量级辅助MCP模块,同时在多个未来时间范围(next^1, next^2, next^3)对视频块进行去噪。
- 利用主模型多层融合的中间特征形成跨预测深度的因果链,使近期预测能够指导更远期预测。
- 在训练期间为主模型提供密集的多尺度时间监督。
- 推理时保留MCP模块,与当前块并行预测下一视频块,实现2倍加速。
方法
Next Forcing在主自回归视频生成模型上增加轻量级辅助多块预测(MCP)模块,这些模块在多个未来时间范围(next^1, next^2, next^3)对视频块进行去噪。模块形成因果链,利用主模型多层融合的中间特征预测未来动态,提供密集的多尺度时间监督。训练使用MCP目标,在RoboTwin、PhyWorld和通用视频预训练基准上评估,基线包括LingBot-VA,指标包括准确率、收敛速度和FVD。
关键结果
在50 fps下,Next Forcing在5k训练步数上相比LingBot-VA实现93.1%的相对提升和2.3倍更快收敛,并在RoboTwin上取得新最优结果(Clean/Random分别为94.1%/93.5%)。同时实现2倍推理加速,通用视频预训练上FVD降低超过50%,并在PhyWorld上取得显著改进。