将视频模型转化为通用机器人策略

arXiv 2026 55.7 method, application

TLDR

将视频生成模型与具身逆动力学模型解耦，实现通用机器人策略，在真实世界表现优异。

评分理由

The paper presents a novel decoupled approach (VERA) that separates video planning from action prediction, demonstrating strong empirical results across simulated and real-world benchmarks. Its strengths include data efficiency, embodiment-agnostic video models, and zero-shot transfer; however, the abstract does not discuss limitations or comparisons to end-to-end methods.

Read-first 评分解释

综合优先阅读分 55.7，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 40。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、评估、结果

引用影响力 18%

77.4

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.77401095

主题相关性 29%

57.1

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

基础论文前沿论文桥接论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：256。

关键词评分

video world model

world model

generative world model

world dynamics prediction

model-based reinforcement learning world model

world simulator

interactive world model

深度分析

创新点

将视频规划与动作预测解耦，使用逆动力学模型（IDM）而非用动作标签微调视频模型
基于机器人具身雅可比矩阵的IDM设计，实现数据高效性和高维动作空间的可扩展性
VERA系统通过单一无动作视频世界模型配对具身特定IDM，实现零样本跨具身机器人控制

方法

本文提出VERA，一种闭环视频到动作策略，结合无动作视频世界模型（预训练视频生成模型）与基于机器人具身雅可比矩阵精心设计的逆动力学模型（IDM）。IDM使用现成的自对弈数据单独训练，而视频规划器保持不变且与具身无关。在模拟和真实世界基准上评估，包括零样本Panda机械臂操作和16自由度Allegro手灵巧立方体重新定向。

关键结果

VERA在模拟和真实世界基准上取得强性能，包括零样本Panda机械臂操作和16自由度Allegro手灵巧立方体重新定向。同一视频规划器可通过配对不同具身特定IDM用于多个具身。

局限性

需要为每个新机器人训练具身特定IDM，限制了完全通用性
性能依赖于无动作视频世界模型生成未来观测的质量和准确性
基于机器人具身雅可比矩阵的IDM设计可能无法推广到所有机器人形态或动作空间

技术栈

Video generative modelsInverse dynamics model (IDM)Robot embodiment JacobianVERA

资源

论文