PragWorld：在最小语言变化和对话动态下评估LLMs局部世界模型的基准

arXiv 25.11 2025 47.6 benchmark

TLDR

评估LLMs在最小语言变化下对话中局部世界模型的鲁棒性，提出可解释性与微调方法。

评分理由

Strengths include a novel benchmark and interpretability framework for analyzing LLM internal representations. Weaknesses are the narrow focus on dyadic conversations and minimal alterations, limiting generalizability.

Read-first 评分解释

综合优先阅读分 47.6，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 15。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：分析、基准、数据集

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码、数据集

主题相关性 42%

21.4

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：495。

关键词评分

world model

interactive world model

world dynamics prediction

world simulator

generative world model

video world model

model-based reinforcement learning world model

深度分析

创新点

PragWorld基准，用于在最小语言变化和对话动态下评估LLMs的局部世界模型
双视角可解释性框架，识别在语言变化下对追踪实体有用或有害的Transformer层
两种基于层正则化的微调策略，抑制有害层的影响

方法

作者通过对来自流行数据集的对话应用七种最小语言变化，构建了两个基准，然后创建是否问题来测试LLMs编码和更新其内部世界模型的能力。他们评估了多种开源和闭源LMs在这些基准上的表现并分析了性能。他们还提出了一个双视角可解释性框架来识别有用和有害的Transformer层，并引入了两种基于层正则化的微调策略来减轻有害层的影响。

关键结果

LLMs在基准上难以保持稳健的准确性，特别是在记忆关键细节方面，如在语言变化下追踪实体。

局限性

基准仅限于二元对话和是否问题，可能无法捕捉语用理解的完整复杂性
仅应用了七种最小语言变化，可能遗漏其他重要的语用现象
提出的微调策略在摘要中未展示其有效性
基准构建自流行数据集，可能引入数据集特定的偏差

资源

论文