衡量LLMs中的（充分）世界模型：一个方差分解框架
TLDR
提出一个方差分解框架，通过评估语义等价提示下的输出一致性来衡量LLMs的意图理解。
评分理由
The paper presents a formal, principled approach to assessing intent understanding, with empirical results on LLaMA and Gemma models. However, it does not address the listed world model keywords, and the abstract lacks explicit real-world experiments or datasets.
Read-first 评分解释
综合优先阅读分 35.9，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 2。
研究版图角色
前沿论文方法锚点
排序敏感性
稳定性：volatile；排名波动范围：285。
关键词评分
深度分析
创新点
- 引入了一个正式的方差分解框架，通过分离用户意图、用户表达方式和模型不确定性引起的变异性来评估LLM的意图理解能力。
- 提出超越仅基于准确率的基准测试，转向直接评估模型是否理解用户意图的语义诊断方法。
方法
该框架将模型在语义等价提示下的响应方差分解为三个组成部分：用户意图引起的变异性、用户表达方式引起的变异性以及模型不确定性引起的变异性。评估应用于多个领域，使用来自LLaMA和Gemma家族的五个模型，测量归因于意图的方差比例作为稳健理解的指标。
关键结果
较大的模型通常将更大比例的方差分配给意图，表明其意图理解能力更强，但随模型规模增大，这种提升并不均匀且往往有限。
局限性
- 评估仅限于来自两个模型家族（LLaMA和Gemma）的五个模型。
- 随模型规模增大观察到的改进不一致且有限，表明仅靠扩展规模可能无法可靠地增强意图理解。
- 该框架的有效性依赖于语义等价提示集的构建，而提示集可能无法捕捉用户意图的所有细微差别。