离流形细化:用冻结的世界模型引导视频生成器
TLDR
OMR 推理时向视频生成器采样注入冻结 V-JEPA 世界模型梯度,提升物理一致性。
评分理由
The paper proposes a novel, efficient inference-time refinement that avoids extra denoising loops or generator retraining, with clear gains on a video physical-commonsense benchmark. The main limitation is that the adapter still requires a small training stage and evaluation is only on a fixed 400-prompt subset.
Read-first 评分解释
综合优先阅读分 36.8,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 38。
研究版图角色
排序敏感性
稳定性:volatile;排名波动范围:454。
关键词评分
深度分析
创新点
- Off-Manifold Refinement (OMR):一种推理时方法,将世界模型反馈直接注入单一采样轨迹,避免候选选择、重复解码/重新编码、生成器内部扰动/重新去噪循环以及后训练优化。
- 在计划中的中间 ODE 步骤中,使用适配器空间 V-JEPA 2.1 惊奇能量的梯度增强生成器速度。
- 使用一个小的训练好的 latent-to-embedding 适配器,使梯度在推理时可控,同时保持视频生成器和世界模型均冻结。
- 将潜在变量从未校正的采样轨迹移向冻结预测器认为更物理合理的区域,之后生成器从校正后的状态继续渲染。
方法
OMR 是一种推理时方法,通过在计划中的中间 ODE 步骤中用适配器空间 V-JEPA 2.1 惊奇能量的梯度增强生成器速度,将世界模型反馈添加到单个采样轨迹中。一个小的训练好的 latent-to-embedding 适配器将生成器潜在变量映射到冻结世界模型嵌入,使梯度保持可控,同时视频生成器和世界模型均保持冻结。评估使用固定的 400-prompt VideoPhy-2 详细子集和固定的 50-prompt 效率子集,基础采样器为 Wan2.2-T2V-A14B。
关键结果
在固定的 400-prompt VideoPhy-2 详细子集上,OMR 将联合 Semantic-Adherence-and-Physical-Commonsense 指标从 47.0% 提升到 52.0%,绝对提升 +5.0 个百分点,相对提升 +10.6%,优于基础 Wan2.2-T2V-A14B 采样器。在固定的 50-prompt 效率子集上,OMR 需要基础运行时的 1.71 倍,而不是奖励/搜索替代方案的乘法成本。
局限性
- 与基础采样器相比,增加了 1.71 倍基础运行时开销。
- 需要训练一个小的 latent-to-embedding 适配器,因此并非完全免训练。
- 报告评估仅限于 VideoPhy-2 的固定子集和 Wan2.2-T2V-A14B 基础采样器。