学习真实世界动作-视频动态的异构掩码自回归

arXiv 25.2 2025 72.5 method

TLDR

HMA使用异构掩码自回归建模动作-视频动态，实现更快、更可控的视频生成。

评分理由

The paper introduces a novel heterogeneous pre-training approach across diverse robotic embodiments, achieving 15x faster real-world speed and better visual fidelity. However, the abstract lacks detailed evaluation metrics and explicit comparison to model-based RL methods, limiting assessment of its broader impact.

Read-first 评分解释

综合优先阅读分 72.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 58。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

主题相关性 42%

82.9

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：GitHub

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：评估

研究版图角色

前沿论文复现锚点

排序敏感性

稳定性：volatile；排名波动范围：90。

关键词评分

interactive world model

video world model

world model

world dynamics prediction

world simulator

generative world model

model-based reinforcement learning world model

深度分析

创新点

来自不同机器人实体、领域和任务的观测和动作序列的异构预训练
使用掩码自回归生成用于视频预测的量化或软令牌
与先前机器人视频生成模型相比，真实世界速度提升15倍

方法

异构掩码自回归（HMA）在来自多个机器人实体、领域和任务的多样化观测和动作序列上进行预训练。然后使用掩码自回归生成用于视频预测的量化或软令牌，从而实现高效的实时模拟。

关键结果

HMA实现了比先前机器人视频生成模型更好的视觉保真度和可控性，在真实世界中速度提升15倍。经过后训练，它可作为从低级动作输入进行视频模拟器，用于策略评估和合成数据生成。

资源

论文代码项目