Wh0：生成式世界模型作为可扩展的自我中心人类手部操作数据源

arXiv 2026 63.2 method, benchmark, application

TLDR

Wh0使用生成式视频世界模型产生可扩展的自我中心人手操作数据，提升灵巧VLA模型在真实任务上的零样本成功率。

评分理由

The paper presents a novel framework that leverages generative world models to address data scarcity for dexterous manipulation, with strong empirical results on 18 real-world tasks. However, the approach is limited to egocentric human-hand data and may not fully address sim-to-real gaps inherent in generative video outputs.

Read-first 评分解释

综合优先阅读分 63.2，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 47。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

引用影响力 18%

92.7

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.92724431

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：消融、数据集

主题相关性 29%

67.1

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：工件、代码、数据集、GitHub

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

基础论文前沿论文桥接论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：411。

关键词评分

world model

generative world model

video world model

world simulator

world dynamics prediction

interactive world model

model-based reinforcement learning world model

深度分析

创新点

使用生成式视频世界模型作为可扩展且可控的自我中心人手操作数据源
通过手部运动重建和视觉编辑将生成的视频转换为机器人可训练的监督信号
与少量真实机器人数据联合训练，使预训练VLA模型适应灵巧操作部署
在18个真实世界灵巧操作任务中，零样本成功率从8.3%提升至38.9%

方法

Wh0使用以语言、物体和场景为条件的生成式世界模型，生成包含5万条自我中心人-物交互视频的数据集WM-H。然后通过手部运动重建和视觉编辑将生成的视频转换为机器人可训练的监督信号。最后，将预训练的VLA模型在WM-H和少量真实机器人数据上联合训练，以适应灵巧操作任务。

关键结果

在18个真实世界灵巧操作任务中，Wh0将未见任务的零样本成功率从仅使用机器人数据后训练的模型的8.3%提升至38.9%。消融实验证实，可扩展生成和场景/具身对齐是性能提升的关键驱动因素。

局限性

依赖生成式世界模型的质量和真实性，可能产生伪影或不真实的交互
从合成视频中重建手部运动可能存在不准确性，影响下游机器人训练
需要少量真实机器人数据进行联合训练，可能仍难以获取
泛化能力可能局限于与生成数据集相似的任务和场景

技术栈

Generative Video World ModelHand Motion ReconstructionVisual EditingVLA ModelWM-H Dataset

资源

论文