KAM-WM:基于潜在世界模型的运动学可操作度图用于机器人操作
TLDR
KAM-WM从冻结的潜在视频世界模型中提取运动学可操作度图,引导机器人操作策略,在LIBERO和RoboTwin2.0上取得高成功率。
评分理由
The paper presents a novel method that leverages a frozen video world model to provide directional interaction cues without rollout or fine-tuning, demonstrating strong empirical results. However, the approach is evaluated only on two specific benchmarks and relies on a pre-trained backbone, which may limit generalizability and adaptability to new tasks.
Read-first 评分解释
综合优先阅读分 40.1,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 36。
研究版图角色
排序敏感性
稳定性:volatile;排名波动范围:284。
关键词评分
深度分析
创新点
- 从冻结的潜在视频世界模型中提取运动学可操作度图(方向性交互线索),无需展开或微调
- 将Flow Matching图像到视频骨干网络的单步潜在速度解释为运动学可操作度图(KAM)
- 通过轻量级Perceiver压缩KAM为令牌,与RGB和本体感知一起条件化扩散策略
- 证明超出空间定位的方向信息能提升少样本操作性能
方法
KAM-WM对冻结的Flow Matching图像到视频模型进行一次查询,将其潜在速度解释为编码任务条件化交互区域和粗略运动结构的运动学可操作度图(KAM)。Perceiver将该图压缩为令牌,与RGB观测和本体感知一起条件化扩散策略。该框架在LIBERO和RoboTwin2.0基准上进行评估。
关键结果
KAM-WM在LIBERO上达到90.6%的平均成功率,在RoboTwin2.0 Easy上达到65.7%,在RoboTwin2.0 Hard上达到22.4%。与零阶掩码先验的对比实验表明,方向信息对性能提升的贡献超出空间定位。
局限性
- 仅提供粗略的方向性线索和粗略运动结构,而非精细运动
- 在RoboTwin2.0 Hard设置中成功率较低(22.4%)
- 仅在LIBERO和RoboTwin2.0上评估,对其他任务和领域的泛化性尚不明确