Awesome World Model Hub 论文 · 数据集 · 项目
← 返回论文列表

InfinityDrive: 打破驾驶世界模型的时间限制

arXiv 24.12 2024 59.5 method, application

TLDR

InfinityDrive 生成分钟级高保真时空一致驾驶视频。

评分理由

The paper introduces a novel driving world model capable of generating over 2 minutes of high-resolution video, addressing the key limitation of short time windows in existing models. Strengths include the spatio-temporal co-modeling and memory mechanisms for long-term consistency, but the abstract lacks detailed quantitative comparisons and does not discuss interactive or reinforcement learning aspects.

Read-first 评分解释

综合优先阅读分 59.5,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 45。

近期性 8%
75.1

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2024

主题相关性 42%
64.3

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 25%
60

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:数据集、实验

可复现性 25%
46

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:数据集、GitHub

研究版图角色

候选论文

排序敏感性

稳定性:volatile;排名波动范围:161。

关键词评分

world model
10
video world model
10
generative world model
9
world dynamics prediction
8
world simulator
5
interactive world model
2
model-based reinforcement learning world model
1

深度分析

创新点

  • 首个支持分钟级视频生成(超过1500帧,超过2分钟)的驾驶世界模型
  • 高效的时空协同建模模块,实现高分辨率(576×1024)视频的时空一致性生成
  • 扩展的时间训练策略,支持长视频生成
  • 记忆注入与保留机制,最小化累积误差
  • 自适应记忆曲线损失,实现一致的长视频生成

方法

InfinityDrive引入了一个高效的时空协同建模模块,结合扩展的时间训练策略,生成高分辨率驾驶视频。它集成了记忆注入与保留机制以及自适应记忆曲线损失,以减少累积误差,从而实现超过1500帧的一致视频生成。该模型在多个数据集上进行了保真度、一致性和多样性的评估。

关键结果

InfinityDrive在高保真度、一致性和多样性方面达到了最先进水平,生成了分钟级驾驶视频(超过1500帧,超过2分钟),分辨率为576×1024。在多个数据集上的全面实验验证了其生成复杂多样场景的能力。

标签