PearlVLA:潜在空间中的渐进式具身动作计划细化
TLDR
PearlVLA在潜在空间中使用冻结的世界模型和强化学习细化动作计划,在LIBERO上达到最先进水平。
评分理由
The paper introduces a novel latent-space deliberation method that separates visual grounding from iterative plan refinement using a frozen world model, reducing latency. However, it is only evaluated on the simulated LIBERO benchmark, lacking real-world validation.
Read-first 评分解释
综合优先阅读分 53.3,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 32。
研究版图角色
基础论文前沿论文桥接论文
排序敏感性
稳定性:volatile;排名波动范围:406。
关键词评分
深度分析
创新点
- 将推理过程迁移到视觉语言模型(VLM)的潜在空间中,以避免昂贵的显式推理
- 将VLM元查询表示分离为固定的视觉基础分支和迭代的潜在计划分支
- 计划条件的世界查询,用于探测冻结的潜在世界模型以获取无动作的未来观测潜在表示
- 未来引导的RefineNet,通过计划残差更新实现从粗到细的渐进式潜在动作计划细化
- 因果细化分组过程奖励强化学习,利用来自更长视野想象未来的奖励优化潜在细化过程
方法
PearlVLA将VLM元查询表示分离为固定的视觉基础分支和迭代的潜在计划分支。在每个细化轮次中,计划条件的世界查询探测冻结的潜在世界模型以获取未来观测潜在表示,该表示被反馈以通过未来引导的RefineNet指导计划细化,RefineNet应用计划残差更新。经过K轮后,细化的潜在计划被并行解码为动作块以实现低延迟执行。训练采用因果细化分组过程奖励强化学习,利用由潜在计划编辑引起的更长视野想象未来的奖励。
关键结果
在LIBERO基准上的实证评估表明,PearlVLA在现有方法中达到了最先进的性能。