H2R-Bench

数据集分析

大规模操作数据对于机器人学习至关重要，然而收集机器人示范数据仍然昂贵且难以扩展。与此同时，大量第一人称人类操作视频提供了丰富的行为经验，但由于人类手部与机器人末端执行器之间的差异，跨具身迁移仍然具有挑战性。视频世界模型的最新进展为从人类观察中合成以机器人为中心的操作视频提供了一条有前景的路径，但其跨具身迁移能力在很大程度上尚未被探索。因此，我们提出了 H2R-Bench，一个用于评估跨具身人类到机器人操作视频生成的基准，其中模型在指定具身条件下将第一人称人类示范转换为机器人操作视频。每个基准实例包含一段人类示范视频、目标具身约束，以及覆盖任务目标、动作事件、功能接触和物体响应的基于源视频的标注。H2R-Bench 通过五个维度评估生成的视频，包括目标状态完成度、动作事件完成度、功能接触迁移、具身正确性和通用视频质量。我们对十一个最先进的视频生成模型在六个操作任务族和两种机器人具身上进行了基准测试。我们的评估表明，当前的视频世界模型在人类到机器人操作迁移方面仍然有限：即使是领先模型也常在具身一致性、功能交互和任务执行上失败。H2R-Bench 提供了一个系统化的诊断框架，用于评估视频世界模型能否弥合人类到机器人的具身差距，并将人类操作观察转化为以机器人为中心的训练资源。