ShareVerse:面向共享世界建模的多智能体一致性视频生成
TLDR
ShareVerse通过空间拼接和跨智能体注意力在CARLA数据上实现多智能体一致性视频生成,用于共享世界建模。
评分理由
The paper presents a novel framework for multi-agent consistent video generation, with strengths in spatial concatenation and cross-agent attention for shared world consistency. However, it relies solely on simulated CARLA data and lacks real-world validation, limiting its generalizability.
Read-first 评分解释
综合优先阅读分 48.3,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 48。
研究版图角色
前沿论文
排序敏感性
稳定性:volatile;排名波动范围:331。
关键词评分
深度分析
创新点
- 基于CARLA仿真平台构建的大规模多智能体交互世界建模数据集,包含多样化的场景、天气条件、交互轨迹以及每个智能体的多视角视频(前/后/左/右视图)和相机数据。
- 针对独立智能体四视角视频的空间拼接策略,用于建模更广阔的环境并确保内部多视角几何一致性。
- 将跨智能体注意力模块集成到预训练视频模型中,实现智能体间时空信息的交互传递,保证重叠区域的共享世界一致性以及非重叠区域的合理生成。
方法
ShareVerse使用CARLA模拟器构建大规模多智能体交互世界建模数据集,包含多样化的场景、天气条件和交互轨迹,并配有多视角视频(每个智能体四个视角)。它提出了针对四视角视频的空间拼接策略以建模更广阔的环境并确保几何一致性,并将跨智能体注意力模块集成到预训练视频模型中,实现智能体间时空信息的交互传递。该模型支持49帧大规模视频生成。
关键结果
ShareVerse支持49帧大规模视频生成,准确感知动态智能体的位置,并实现一致的共享世界建模。