World in World:以世界模型探索世界
TLDR
免训练推理时接口,为冻结自回归视频世界模型带来可控相机视角、长视野重访与源视频人体动作迁移。
评分理由
The paper presents a novel unified interface leveraging native self-attention and evidence-aware CFG for controllable video generation, addressing synchronization, completion, and revisiting. However, the abstract lacks visible empirical evaluations or benchmark results, making it difficult to assess demonstrated effectiveness.
Read-first 评分解释
综合优先阅读分 38.4,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 51。
研究版图角色
前沿论文
排序敏感性
稳定性:volatile;排名波动范围:414。
关键词评分
深度分析
创新点
- 提出 World in World,一种免训练的推理时接口,在不引入任务特定模块或额外训练的情况下,为冻结的因果视频世界模型添加灵活控制。
- 将异构控制证据转换为带有相机和时间标签的干净视觉状态,并通过冻结因果视频模型的原生自注意力读取。
- 利用多种带有 token 级支持和可用性调度的证据来源:源视频观测、目标视角场景投影、用于补全新暴露区域的几何渲染,以及超出滚动缓存之外检索到的已生成状态。
- 提出对应关系路由器,结合持久点身份与几何建立 token 对应关系,将受支持的查询引导至匹配的源视频 token。
- 引入逐证据注意力分类器自由引导(EWA),利用同一次去噪前向传播中的注意力响应独立调节每个辅助通道的额外贡献。
- 提供共享控制接口,支持在同一冻结主干上进行相机控制重渲染、长视野重访和人体动作迁移。
方法
该方法是在冻结的自回归因果视频模型之上的免训练推理时接口。它借助对应关系路由器(将持久点身份与几何联系起来)以及逐证据注意力 CFG 机制(调节辅助证据贡献),将异构控制证据转换为通过原生自注意力读取的、带有相机和时间标签的视觉状态。评估聚焦于多种视角变化下的相机控制视频重渲染。
关键结果
论文在多种视角变化下的相机控制视频重渲染上进行了评估,考察感知质量、时间一致性和相机跟随精度。摘要未报告定量指标数值。
技术栈
Autoregressive video world modelsFrozen causal video modelNative self-attentionCorrespondence routerEvidence-wise attention CFG (EWA)