从多模态基础模型中的动力学模型自举世界模型
TLDR
VLM在前向动力学预测上表现不佳，但利用逆向动力学自举世界模型，实现了有竞争力的图像编辑性能。
评分理由
The paper presents a novel approach leveraging the asymmetry between inverse and forward dynamics prediction to bootstrap world models, with empirical validation on Aurora-Bench. However, the evaluation is limited to action-centric image editing, and the method's generality to full world models is not demonstrated.
Read-first 评分解释
综合优先阅读分 53.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 32。
研究版图角色
排序敏感性
稳定性：volatile；排名波动范围：344。
关键词评分
深度分析
创新点
- 识别多模态基础中的不对称性：对于VLM，逆向动力学预测（IDP）比前向动力学预测（FDP）容易得多。
- 通过两种策略从IDP自举FDP：基于合成数据的弱监督学习（使用IDP为未标注的帧对标注动作）和推理时验证（使用IDP作为奖励模型对多个FDP样本进行评分）。
- 使用通用VLM在Aurora-Bench上实现了与最先进图像编辑模型相竞争的性能，根据GPT4o-as-judge评估，改进幅度为7%至13%。
方法
本文研究了视觉语言模型（VLM）是否能够执行前向动力学预测（FDP）——根据先前的观察和语言形式的动作预测未来状态（图像形式）。他们发现VLM难以做到，但识别出逆向动力学预测（IDP）——对帧间动作进行描述——更容易。他们通过两种策略利用IDP自举FDP：（1）弱监督学习，其中IDP为未标注的视频帧对标注动作，以扩展FDP的训练数据；（2）推理时验证，其中IDP为多个FDP样本分配奖励以引导搜索。评估在Aurora-Bench以动作为中心的图像编辑任务上进行，使用了两个VLM家族。
关键结果
最佳模型实现了与最先进图像编辑模型相竞争的性能，根据GPT4o-as-judge评估，改进幅度为7%至13%，并在Aurora-Bench的所有子集上取得了最佳平均人类评估。
局限性
- VLM难以根据指令生成帧间物理上合理的过渡。
- 该方法依赖于IDP比FDP更容易的不对称性，这可能不适用于所有多模态基础模型或任务。
- 评估仅限于Aurora-Bench基准和两个VLM家族，因此未建立对其他领域或模型的泛化能力。