通过对话对齐世界模型的具身多智能体协调
TLDR
基于LLM的具身智能体通过对话对齐世界模型,减少冲突但降低任务成功率;新指标衡量对齐差距。
评分理由
The paper introduces a novel framework for measuring world-model alignment via dialogue in multi-agent coordination, with empirical results across three LLMs. Strengths include clear metrics and real-world benchmark (PARTNR), but task success degradation and limited scope (household robotics) are weaknesses.
Read-first 评分解释
综合优先阅读分 51.2,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 24。
研究版图角色
基础论文前沿论文桥接论文方法锚点
排序敏感性
稳定性:volatile;排名波动范围:305。
关键词评分
深度分析
创新点
- 将PARTNR基准扩展为包含自然语言对话通道,支持两个部分可观测的智能体进行通信
- 提出一个通过三个指标(观测收敛性、信息新颖性、信念敏感消息传递)衡量世界模型对齐的框架
- 实验证明对话可将动作冲突降低40–83个百分点,但会降低任务成功率,揭示了表面协调与真正世界模型对齐之间的差距
方法
作者通过添加自然语言对话通道扩展了协作家庭机器人基准PARTNR,使两个部分可观测的智能体在任务执行过程中能够通信。他们使用提出的世界模型对齐指标(观测收敛性、信息新颖性、信念敏感消息传递)以及动作冲突和任务成功率的常规度量,评估了三种基于LLM的智能体。
关键结果
与无声协调相比,对话将动作冲突降低了40至83个百分点,但在所有测试的三种LLM中均降低了任务成功率。
局限性
- 对话相对于无声协调降低了任务成功率,表明当前模型未能有效利用通信
- 研究仅评估了三种LLM,限制了结果的泛化性
- 基准局限于两个智能体、部分可观测的家庭机器人任务,结果可能不适用于其他领域或更大团队
- 提出的指标揭示了表面协调与真正世界模型对齐之间的差距,但论文未提供弥合这一差距的解决方案