梦见他人：多智能体强化学习中世界模型的潜在队友建模
TLDR
提出将队友分解为世界模型中的可学习组件，利用心智理论实现多智能体零样本协调。
评分理由
The paper introduces a novel architecture that integrates teammate modeling into Dreamer-style world models, addressing a key limitation in MARL. However, it is a proposal without empirical results, relying on outlined benchmarks rather than demonstrated performance.
Read-first 评分解释
综合优先阅读分 63.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 43。
研究版图角色
基础论文前沿论文桥接论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：396。
关键词评分
深度分析
创新点
- 将队友视为智能体世界模型中的结构化可学习组件，而非环境动态的一部分。
- 将Dreamer风格的循环状态空间模型（RSSM）的潜在状态分解为环境和队友两个独立组件。
- 引入辅助的心智理论（ToM）头，从部分轨迹中推断伙伴行为（性格、意图、预测动作）的潜在嵌入。
- 将推断出的队友潜在表示作为演员和评论家的条件输入，实现在部分可观测环境中的零样本和少样本协调。
方法
本文提出一种架构，通过将RSSM的潜在状态分解为环境和队友组件，将Dreamer风格的世界模型扩展到多智能体场景。学习一个辅助的心智理论头，从部分轨迹中推断伙伴行为的潜在嵌入，这些队友潜在表示同时作为演员和评论家网络的条件输入，使智能体能够想象并适应不同的协作伙伴。该方法通过提出的基准测试和评估协议来评估零样本和少样本协调能力。
关键结果
本文概述了所提方法如何支持部分可观测环境中的零样本和少样本协调，但未提供实证结果；该工作是一个概念性提案，附带一套建议用于未来评估的基准测试和评估协议。
局限性
- 本文仅为概念性提案，缺乏实证验证或实验结果。
- 该方法假设队友潜在表示可以从部分轨迹中可靠推断，这在高度随机或对抗性环境中可能具有挑战性。
- 分解和ToM头可能引入额外的计算复杂度和训练难度。
- 该方法仅针对合作型多智能体场景描述，未涉及竞争或混合动机场景的适用性。
- 未讨论扩展到大量智能体或复杂队友行为的可扩展性。