Awesome World Model Hub 论文 · 数据集 · 项目
← 返回论文列表

将大型语言模型转化为具有前提和效果知识的世界模型

arXiv 24.9 2024 45.4 method

TLDR

微调两个LLM分别预测前提和效果,使其充当世界模型,经人类研究验证。

评分理由

The paper presents a novel approach to inducing world model capabilities in LLMs through targeted fine-tuning and synthetic data, with human validation as a strength. However, it focuses narrowly on precondition and effect knowledge rather than full world dynamics, and lacks evaluation on real-world planning tasks or comparison to existing world models.

Read-first 评分解释

综合优先阅读分 45.4,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 28。

近期性 8%
75.1

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2024

方法质量 25%
60

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:结果

主题相关性 42%
40

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%
30

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:无

研究版图角色

候选论文

排序敏感性

稳定性:volatile;排名波动范围:278。

关键词评分

world model
9
world dynamics prediction
6
interactive world model
4
generative world model
3
model-based reinforcement learning world model
3
world simulator
2
video world model
1

深度分析

创新点

  • 诱导LLMs执行世界模型的前提预测和效果预测功能
  • 分别微调两个独立的LLM用于前提预测和效果预测
  • 使用合成数据生成技术训练世界模型
  • 通过人类参与者研究验证生成的前提和效果知识与人类理解的一致性
  • 分析推断的状态空间对支持规划所需动作链的能力

方法

作者微调了两个独立的大型语言模型(LLM)——一个用于前提预测,另一个用于效果预测——并利用合成数据生成技术。随后进行人类参与者研究,验证生成的前提和效果知识与人类对世界动态的理解一致,并分析推断的状态空间支持动作链进行规划的能力。

关键结果

微调后的LLM生成的前提和效果知识与人类对世界动态的理解一致,且推断的状态空间支持动作链的创建,这是规划的必要属性。

局限性

  • LLMs并非为建模真实世界动态而设计,需要诱导才能执行世界模型功能
  • 该方法依赖合成数据生成,可能无法完全捕捉真实世界动态的复杂性

标签