SWEET: 基于图像编辑的稀疏世界建模用于具身任务执行
TLDR
提出SWEET，用图像编辑生成任务关键帧，替代密集视频生成，降低机器人操作成本。
评分理由
Strengths include a novel sparse world modeling approach that reduces computational cost compared to dense video generation, with empirical comparisons and a mixed-training strategy to mitigate domain mismatch. Weaknesses include reliance on keyframe prediction rather than full dynamics, and limited evaluation to specific robotic datasets without broader generalization tests.
Read-first 评分解释
综合优先阅读分 57.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 40。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：314。
关键词评分
深度分析
创新点
- 使用图像编辑模型作为机器人操作的稀疏世界模型，替代密集视频生成。
- SWEET：一种一次性稀疏视觉规划框架，通过连续图像编辑逐步生成任务相关的操作关键帧，条件为语言指令和可选的箭头空间引导。
- 混合训练策略，使用过滤后的编辑目标减少真实与编辑视觉子目标之间的不匹配。
- 目标条件扩散动作预测器，将相邻的想象关键帧转换为可执行的动作块。
方法
本文首先在相同机器人数据设置下，对视频生成模型Wan2.2和图像编辑模型FLUX-Kontext进行了受控比较。然后提出SWEET，利用连续图像编辑生成一系列任务相关关键帧，条件为语言指令和可选的箭头空间引导。目标条件扩散动作预测器将相邻关键帧转换为可执行的动作块，并引入混合训练策略，使用过滤后的编辑目标减少真实与编辑子目标之间的不匹配。实验在DROID和RoboMimic数据集上进行。
关键结果
图像编辑相比视频生成产生更可靠的任务级关键帧，具有更好的视觉保真度和显著更低的推理成本。SWEET在已见和未见场景中均改进了关键帧预测，并实现了从顺序关键帧规划到可执行机器人动作的完整流水线。
局限性
- 编辑后的视觉子目标可能无法完美匹配真实观测，需要采用混合训练策略和过滤后的编辑目标来缓解不匹配。
- 评估仅限于DROID和RoboMimic数据集，未展示对其他领域或任务的泛化能力。
- 该框架依赖图像编辑模型，可能存在固有失败模式，如连续编辑之间的不一致性。