DeltaWAM:面向双手操作的增量世界动作模型
TLDR
DeltaWAM通过预测视觉增量与动作并使用流式增量记忆,提升了双手操作的成功率和效率。
评分理由
The paper presents a novel world-action model that reduces redundant visual prediction and inference cost while improving task success in simulation and real-world evaluations. Strengths include clear efficiency gains and public code/website; limitations are that the abstract omits detailed real-world setup and per-architecture analysis.
Read-first 评分解释
综合优先阅读分 36.7,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 46。
研究版图角色
排序敏感性
稳定性:volatile;排名波动范围:388。
关键词评分
深度分析
创新点
- DeltaWAM使用密集锚点、稀疏增量和动作流联合预测视觉增量和动作,避免了密集未来帧预测,并将动作条件动态与干扰外观变化解耦。
- 提出了三种DeltaWAM架构,它们在表示与计算共享方式上有所不同。
- 流式增量记忆(SDM)用紧凑的观测增量更新缓存的锚点上下文,减少推理时重型视频专家的处理。
方法
DeltaWAM基于世界动作模型,该类模型将预训练视频生成器的视觉与运动先验迁移到机器人控制。它使用密集锚点、稀疏增量和动作流联合预测视觉增量与动作,并设计了三种在表示与计算共享上有所不同的架构;同时引入流式增量记忆(SDM),用紧凑的观测增量更新缓存的锚点上下文。在RoboTwin和真实世界双手操作上的评估以Fast-WAM为基线,比较平均成功率、归一化进度、训练FLOPs以及推理延迟/FLOPs。
关键结果
带SDM的DeltaWAM在干净设置中将平均成功率从Fast-WAM的81.3%提高到85.4%,在视觉随机化下从75.8%提高到83.9%。三种架构将训练FLOPs减少17.78%-23.77%,SDM将单步推理延迟和FLOPs分别减少36.57%和31.55%;真实世界评估显示,DeltaWAM在评估策略中取得了最高的总体成功率和归一化进度。