SlowFast-VGen：面向动作驱动的长视频生成的慢-快学习

arXiv 2024 59.2 method

TLDR

SlowFast-VGen提出双速学习，结合慢世界动态和快情景记忆，用于动作驱动长视频生成。

评分理由

Strengths include a novel dual-speed learning framework, a large-scale dataset, and empirical improvements over baselines. Weaknesses are the narrow focus on action-driven video generation and lack of explicit interactive or RL components.

Read-first 评分解释

综合优先阅读分 59.2，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 36。

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、数据集、实验、指标

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

主题相关性 42%

51.4

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：数据集、GitHub

研究版图角色

方法锚点

排序敏感性

稳定性：volatile；排名波动范围：202。

关键词评分

world model

video world model

world dynamics prediction

generative world model

interactive world model

world simulator

model-based reinforcement learning world model

深度分析

创新点

双速学习系统：通过掩码条件视频扩散模型进行世界动态的慢速学习，以及通过推理时时间LoRA进行情景记忆存储的快速学习。
慢-快学习循环算法，将内部快速学习循环集成到外部慢速学习循环中，使得能够回忆多情节经验以实现上下文感知的技能学习。
大规模数据集（20万段视频及语言动作标注），用于近似世界模型的慢速预训练。

方法

SlowFast-VGen结合了在大规模数据集上预训练的掩码条件视频扩散模型（用于世界动态的慢速学习）以及使用时间LoRA模块的推理时快速学习策略。快速学习根据局部输入和输出更新LoRA参数以存储情景记忆，慢-快学习循环算法将这些更新集成到外部训练循环中，以实现上下文感知的视频生成。

关键结果

SlowFast-VGen的FVD分数达到514（对比基线782），并在较长视频中保持一致性，平均场景切换次数为0.37（对比0.89）。慢-快学习循环还显著提升了长时程规划任务的性能。

技术栈

Masked Conditional Video Diffusion ModelTemporal LoRASlow-Fast Learning Loop Algorithm

资源

论文