⌁ Awesome World Model Hub 论文 · 数据集 · 项目
← 返回论文列表

离流形细化:用冻结的世界模型引导视频生成器

arXiv 2026 36.8 method

TLDR

OMR 推理时向视频生成器采样注入冻结 V-JEPA 世界模型梯度,提升物理一致性。

评分理由

The paper proposes a novel, efficient inference-time refinement that avoids extra denoising loops or generator retraining, with clear gains on a video physical-commonsense benchmark. The main limitation is that the adapter still requires a small training stage and evaluation is only on a fixed 400-prompt subset.

Read-first 评分解释

综合优先阅读分 36.8,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 38。

近期性 5%
100

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2026

方法质量 15%
70

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:评估、指标

主题相关性 25%
54.3

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 15%
46

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:代码、GitHub

图谱声望 15%
5.7

基于可用 OpenAlex 引用关系构建局部引用图,并计算 PageRank 风格的图谱声望。 局部 PageRank:0.0016

引用影响力 15%
0

使用 OpenAlex 形态的引用元数据作为文献关注度信号,并与论文本身质量分开处理。 引用数:0

引用速度 10%
0

引用速度按发表年限估算年均引用,降低旧论文天然占优的偏差。 年均引用:0.00

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性:volatile;排名波动范围:454。

关键词评分

world model
10
video world model
9
world dynamics prediction
8
generative world model
7
world simulator
2
interactive world model
1
model-based reinforcement learning world model
1

深度分析

创新点

  • Off-Manifold Refinement (OMR):一种推理时方法,将世界模型反馈直接注入单一采样轨迹,避免候选选择、重复解码/重新编码、生成器内部扰动/重新去噪循环以及后训练优化。
  • 在计划中的中间 ODE 步骤中,使用适配器空间 V-JEPA 2.1 惊奇能量的梯度增强生成器速度。
  • 使用一个小的训练好的 latent-to-embedding 适配器,使梯度在推理时可控,同时保持视频生成器和世界模型均冻结。
  • 将潜在变量从未校正的采样轨迹移向冻结预测器认为更物理合理的区域,之后生成器从校正后的状态继续渲染。

方法

OMR 是一种推理时方法,通过在计划中的中间 ODE 步骤中用适配器空间 V-JEPA 2.1 惊奇能量的梯度增强生成器速度,将世界模型反馈添加到单个采样轨迹中。一个小的训练好的 latent-to-embedding 适配器将生成器潜在变量映射到冻结世界模型嵌入,使梯度保持可控,同时视频生成器和世界模型均保持冻结。评估使用固定的 400-prompt VideoPhy-2 详细子集和固定的 50-prompt 效率子集,基础采样器为 Wan2.2-T2V-A14B。

关键结果

在固定的 400-prompt VideoPhy-2 详细子集上,OMR 将联合 Semantic-Adherence-and-Physical-Commonsense 指标从 47.0% 提升到 52.0%,绝对提升 +5.0 个百分点,相对提升 +10.6%,优于基础 Wan2.2-T2V-A14B 采样器。在固定的 50-prompt 效率子集上,OMR 需要基础运行时的 1.71 倍,而不是奖励/搜索替代方案的乘法成本。

局限性

  • 与基础采样器相比,增加了 1.71 倍基础运行时开销。
  • 需要训练一个小的 latent-to-embedding 适配器,因此并非完全免训练。
  • 报告评估仅限于 VideoPhy-2 的固定子集和 Wan2.2-T2V-A14B 基础采样器。

技术栈

V-JEPA 2.1Wan2.2-T2V-A14BVideoPhy-2ODElatent-to-embedding adapter

标签