VidMan：从视频扩散模型中挖掘隐式动力学以实现高效机器人操作

NeurIPS 24 2024 64.5 method, application

TLDR

VidMan利用视频扩散学习机器人数据的隐式动力学，通过两阶段训练提升操作性能，超越基线。

评分理由

Strengths include a novel two-stage training mechanism that leverages video diffusion for dynamics awareness, achieving strong empirical results on CALVIN and OXE. Weaknesses are the narrow focus on robot manipulation and lack of explicit comparison to world model literature, with potential dataset-specific overfitting.

Read-first 评分解释

综合优先阅读分 64.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 45。

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、基准、数据集、结果

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

主题相关性 42%

64.3

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码、数据集

研究版图角色

方法锚点

排序敏感性

稳定性：volatile；排名波动范围：84。

关键词评分

video world model

world dynamics prediction

world model

generative world model

world simulator

model-based reinforcement learning world model

interactive world model

深度分析

创新点

受神经科学双过程理论启发的两阶段训练机制，用于机器人操作
在Open X-Embodiment数据集（OXE）上通过视频去噪扩散预训练未来视觉轨迹，形成长期动力学感知
逐层自注意力适配器，通过参数共享将视频扩散模型转化为高效的逆动力学模型

方法

VidMan采用两阶段训练过程。首先，在Open X-Embodiment数据集上以视频去噪扩散方式预训练，预测未来视觉轨迹，学习隐式动力学。其次，引入逐层自注意力适配器，将模型转化为预测动作的逆动力学模型，通过参数共享利用已学习的动力学知识。

关键结果

VidMan在CALVIN基准测试上超越最先进基线GR-1，相对提升11.7%，并在OXE小规模数据集上取得超过9%的精度提升。

技术栈

Video Diffusion ModelOpen X-EmbodimentCALVINSelf-Attention Adapter

资源

论文