LaWAM: 潜在世界动作模型用于高效动力学感知机器人策略
TLDR
LaWAM利用潜在视觉子目标实现高效动力学感知机器人控制,低延迟高成功率。
评分理由
The paper introduces a novel latent world model that avoids expensive video generation, achieving strong results on benchmarks and real-world tasks. However, it lacks explicit comparison to model-based RL methods and the latent representation's interpretability is unclear.
Read-first 评分解释
综合优先阅读分 56.7,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 32。
研究版图角色
基础论文前沿论文桥接论文方法锚点
排序敏感性
稳定性:volatile;排名波动范围:380。
关键词评分
深度分析
创新点
- 用紧凑的潜在视觉子目标替代计算昂贵的像素级视频生成,实现预测性动力学
- 引入潜在动作条件潜在世界模型(LaWM),在预训练视觉基础模型的潜在空间中训练
- 将动作生成条件化于预测的潜在视觉子目标,实现低延迟的动力学感知机器人控制
方法
LaWAM通过构建潜在世界模型(LaWM),在预训练视觉基础模型的潜在空间中训练潜在动作模型,并利用其前向解码器预测未来观测特征。策略随后将动作生成条件化于这些预测的潜在视觉子目标,避免了像素级视频重建。该方法在LIBERO、RoboTwin和真实世界操作任务上进行了评估,基线包括像素空间的世界动作模型。
关键结果
LaWAM取得了最先进或具有竞争力的成功率:在LIBERO上为98.6%,在RoboTwin上为91.22%,在真实世界任务上表现强劲。每次动作块预测耗时187毫秒,相比像素空间WAM实现了高达24倍的墙钟延迟降低。
局限性
- 依赖预训练视觉基础模型可能限制其在训练数据未充分表示的视觉领域中的泛化能力
- 潜在子目标可能丢弃对精确操作任务至关重要的细粒度像素级信息
- 评估仅限于特定基准(LIBERO、RoboTwin)和一组真实世界任务,未展示更广泛的泛化能力