共同演化的潜在动作世界模型
TLDR
CoLA-World联合训练潜在动作模型与预训练世界模型,通过预热实现共同演化,提升模拟与规划。
评分理由
The paper introduces a novel joint training paradigm that resolves representational collapse, achieving co-adaptation between the latent action model and world model. Strengths include empirical improvements over two-stage methods, but the abstract lacks specific benchmark details and potential reliance on pretrained models.
Read-first 评分解释
综合优先阅读分 66,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 61。
研究版图角色
前沿论文
排序敏感性
稳定性:volatile;排名波动范围:380。
关键词评分
深度分析
创新点
- 首次成功联合训练潜在动作模型(LAM)与预训练世界模型,以共同演化循环取代两阶段范式。
- 关键预热阶段对齐从头训练的LAM与预训练世界模型的表征,防止表征崩溃。
- 协同适应:世界模型作为导师塑造LAM,LAM为世界模型提供更精确的控制接口。
方法
CoLA-World联合训练潜在动作模型(LAM)与预训练的视频生成世界模型。它采用关键预热阶段,将随机初始化的LAM的表征与冻结的世界模型对齐,之后两者在共同演化循环中联合训练。世界模型提供梯度以优化LAM,而LAM则为世界模型提供更灵活的控制接口。
关键结果
CoLA-World在视频模拟质量和下游视觉规划任务上均达到或超越先前的两阶段方法,建立了一个稳健高效的新范式。
局限性
- 依赖预训练的视频生成世界模型,可能限制其在缺乏此类模型的领域的应用。
- 需要精心设计的预热阶段以避免表征崩溃,可能增加调参复杂度。
技术栈
Latent Action Model (LAM)Pretrained Video Generation World ModelCo-evolution training with warm-up phase