Ropedia W0:利用人类经验跨具身形态扩展移动操作世界模型
TLDR
Ropedia W0 是跨具身移动操作世界基础模型,支持从零样本到后训练的预测、规划与实时VR推演。
评分理由
The paper introduces a large-scale unified dataset and benchmark, with strong empirical evaluation across multiple embodiments. However, reliance on manual keypoint annotation and limited detail on zero-shot generalization constraints visible in the abstract temper the claims.
Read-first 评分解释
综合优先阅读分 43.6,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 57。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性:volatile;排名波动范围:635。
关键词评分
深度分析
创新点
- 首个覆盖人类与多种机器人具身的自我中心移动操作世界基础模型。
- Xp-Data:包含10k小时自我中心人类数据和3k小时机器人数据的精选数据集,具有统一多模态标注与系统性质量控制。
- 统一运动学表示:用相机位姿编码移动,用投影骨架编码操作;机器人骨架结合具身特定前向运动学与大量人工关键点标注、修正。
- Xp-Teleop:基于高质量灵巧人形遥操作数据的长时程移动操作基准。
- 蒸馏后的模型支持实时、分钟级推演,从而实现实时VR交互。
方法
Ropedia W0 在 Xp-Data 上训练,该数据集包含10k小时自我中心人类数据和3k小时机器人数据,并带有统一多模态标注。统一运动学表示用相机位姿编码移动、用投影骨架编码操作;机器人骨架结合具身特定前向运动学与人工关键点标注/修正。评估在五个跨具身基准和保留的人类自我中心视频上进行,覆盖零样本、少样本与全量数据后训练;随后通过蒸馏实现实时部署。
关键结果
Ropedia W0 在五个跨具身基准(DreamDojo、Ψ_0、ω-HOME、Xp-Teleop 和 AgiBot)以及保留的人类自我中心视频上均达到最先进性能,覆盖从零样本推理到少样本和全量数据后训练。扩大人类预训练数据可同时提升人类与机器人评估性能;蒸馏后的模型支持实时、分钟级推演,可用于实时VR交互。
技术栈
Xp-DataXp-TeleopUnified kinematic representationModel distillationVR interaction