带世界状态寄存器的流式多智能体自回归扩散模型
TLDR
WorldWeaver:带世界状态寄存器的流式多智能体视频扩散模型,实现跨智能体一致性。
评分理由
The paper introduces world state registers to maintain shared world information across agents, addressing a key limitation in multi-agent video generation. Its strengths include the novel architectural design and explicit state supervision, but weaknesses are the limited evaluation to two-agent Minecraft and lack of comparison to interactive or RL-based world models.
Read-first 评分解释
综合优先阅读分 39.7,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 47。
研究版图角色
前沿论文
排序敏感性
稳定性:volatile;排名波动范围:292。
关键词评分
深度分析
创新点
- 跨智能体世界状态寄存器:可学习的 token,用于存储共享世界信息、跟踪个体智能体状态,并在每个生成块后动态更新。
- 流式多智能体自回归视频扩散模型(WorldWeaver),将世界状态寄存器集成到 rollout 中。
- 世界状态寄存器的监督信号,包括个体智能体状态、全局状态视图(鸟瞰图)和场景文本。
- Mixture-of-Transformers 架构,使用独立的权重进行世界状态建模和视觉帧建模。
方法
该论文提出了WorldWeaver,一种流式多智能体视频扩散模型,它通过可学习的跨智能体世界状态寄存器来增强自回归块生成。这些寄存器动态更新,并受到智能体状态、鸟瞰图和场景文本的监督。Mixture-of-Transformers 设计将世界状态和视觉帧处理分开。该模型在两个智能体的Minecraft视频生成上进行了评估。
关键结果
通过寄存器进行的显式世界状态建模提高了两个智能体Minecraft视频生成的逻辑一致性和生成质量。