LaST-HD: 从可扩展人类数据中学习潜在物理推理以实现机器人操作
TLDR
LaST-HD通过动作条件世界模型将人类和机器人演示对齐到共享潜在空间用于机器人操作学习
评分理由
The paper introduces a novel paradigm for human-to-robot action learning by leveraging a world model to align cross-embodiment dynamics, which is a strength. However, the abstract lacks explicit details on real-world evaluation results and does not directly address several of the specified keywords beyond 'world model'.
Read-first 评分解释
综合优先阅读分 39.1,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 11。
研究版图角色
基础论文前沿论文桥接论文
排序敏感性
稳定性:volatile;排名波动范围:321。
关键词评分
深度分析
创新点
- 将推理-行动前的VLA扩展为在共享潜在推理空间中对齐人手和机器人演示
- 在未配对的人手和机器人轨迹上训练辅助的动作条件世界模型,以合成统一的潜在目标
- 开发Out-of-Lab (OOL) Glove,一种用于人手数据采集的低成本动作捕捉手套
- 渐进式混合到人训练方案,包括混合人机协同训练和人手在线校正后训练
方法
LaST-HD是一种人-机器人动作学习范式,通过将人手和机器人演示在共享潜在推理空间中对齐,扩展了推理-行动前的VLA。它在未配对的人手和机器人轨迹上训练辅助的动作条件世界模型,以合成统一的潜在目标,然后在该前向动力学空间中对齐跨具身表示。该方法使用OOL Glove进行数据采集,并采用渐进式混合到人训练方案,包括混合协同训练和在线校正。
关键结果
LaST-HD仅使用人手演示即可提升对新颖物体、场景和位置的泛化能力。通过在线校正,仅使用20分钟的OOL手套数据即可达到超过90%的准确率。
技术栈
VLAworld modelOOL Glovemixed human-robot co-trainingonline correction