Text2World：用于符号世界模型生成的大语言模型基准测试

arXiv 25.2 2025 57 benchmark

TLDR

提出Text2World基准，基于PDDL评估LLM生成符号世界模型，发现强化学习训练的推理模型能力仍有限。

评分理由

The paper addresses a clear gap with a novel benchmark using execution-based metrics across diverse domains, but the focus is on symbolic models rather than real-world or interactive environments, limiting direct applicability. Strengths include robust evaluation and insights into LLM limitations; weaknesses include lack of real-world validation and narrow domain scope.

Read-first 评分解释

综合优先阅读分 57，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 34。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：分析、基准、评估、指标

主题相关性 42%

48.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：GitHub

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：308。

关键词评分

world model

generative world model

world dynamics prediction

model-based reinforcement learning world model

world simulator

interactive world model

video world model

深度分析

创新点

引入Text2World，一个基于PDDL的新基准，包含数百个多样化领域
采用多标准、基于执行的指标对世界模型生成进行稳健评估
系统地对当前LLM进行基准测试，包括经过大规模强化学习训练的推理模型
分析测试时扩展和智能体训练等有前景的策略以增强世界建模能力

方法

本文介绍了Text2World，一个基于规划领域定义语言（PDDL）的基准，包含数百个多样化领域。它采用多标准、基于执行的指标来评估LLM从文本描述生成符号世界模型的能力。对当前LLM进行了基准测试，并考察了测试时扩展和智能体训练等策略。

关键结果

经过大规模强化学习训练的推理模型在Text2World上优于其他LLM，但即使是最佳模型也表现出有限的世界建模能力。

技术栈

PDDLLarge Language Models (LLMs)Reinforcement LearningTest-time ScalingAgent Training

资源

论文项目