融合大型语言模型提示的世界模型用于目标达成

arXiv 24.6 2024 37 method

TLDR

DLLM将LLM生成的提示性子目标整合到基于模型的强化学习展开中，以提升稀疏奖励环境下的目标达成能力。

评分理由

The paper proposes a novel integration of LLMs with world models for guided exploration, showing strong empirical gains. However, it is limited to simulated environments and lacks analysis of LLM hint quality or failure cases.

Read-first 评分解释

综合优先阅读分 37，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 18。

近期性 8%

75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2024

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：实验

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

主题相关性 42%

25.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

候选论文

排序敏感性

稳定性：volatile；排名波动范围：152。

关键词评分

world model

model-based reinforcement learning world model

world dynamics prediction

world simulator

generative world model

interactive world model

video world model

深度分析

创新点

将大型语言模型的提示性子目标整合到模型展开中，以发现和达成目标
对与LLM提示一致的样本分配更高的内在奖励，以引导有意义且高效的探索

方法

DLLM是一种多模态基于模型的强化学习方法，利用LLM生成提示性子目标，并将其整合到模型展开中。在展开过程中，智能体对与这些提示一致的样本分配更高的内在奖励，从而鼓励目标导向的探索。

关键结果

DLLM在HomeGrid、Crafter和Minecraft上分别比近期方法高出27.7%、21.1%和9.9%。

技术栈

Large Language Models (LLMs)Model-based Reinforcement LearningMulti-modal learning

资源

论文