CoDreamer：基于通信的分散式世界模型

arXiv 24.6 2024 60.8 method

TLDR

CoDreamer将Dreamer扩展到多智能体强化学习，利用基于GNN的通信实现分散式世界模型，提高了样本效率和协作能力。

评分理由

The paper introduces a novel extension of Dreamer to multi-agent settings with a two-level communication system, addressing partial observability and cooperation. Strengths include clear methodology and demonstrated superiority over baselines, but weaknesses include lack of real-world validation and limited detail on environments.

Read-first 评分解释

综合优先阅读分 60.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 58。

主题相关性 42%

82.9

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

候选论文

排序敏感性

稳定性：volatile；排名波动范围：569。

关键词评分

world model

model-based reinforcement learning world model

generative world model

world dynamics prediction

world simulator

interactive world model

video world model

深度分析

创新点

将Dreamer算法扩展到多智能体环境
使用图神经网络构建世界模型和策略的两级通信系统
在学习的世界模型和学习策略中分别进行通信，以增强建模和任务求解

方法

CoDreamer通过引入图神经网络构建两级通信系统，将Dreamer算法扩展到多智能体场景。通信既用于学习的世界模型，也用于每个智能体的策略，以解决部分可观测性和智能体间协作问题。该方法在多种多智能体环境中与基线方法进行了评估。

关键结果

CoDreamer比简单应用Dreamer具有更强的表达能力，并在多种多智能体环境中表现出优于基线方法的性能。

技术栈

DreamerGraph Neural Networks (GNN)Multi-agent Reinforcement Learning

资源

论文