无世界模型的世界属性：从静态词嵌入的共现统计中恢复空间与时间结构

arXiv 26.3 2026 31.4 method

TLDR

静态词嵌入从共现中恢复空间与时间结构，挑战了恢复即隐含世界模型的说法。

评分理由

The paper's strength is demonstrating that simple co-occurrence-based embeddings (GloVe, Word2Vec) can recover geographic and temporal variables, suggesting that linear probe recoverability does not require world models. A weakness is that it only tests linear probes and does not address more complex world model architectures or interactive settings.

Read-first 评分解释

综合优先阅读分 31.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 1。

近期性 8%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：消融

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

主题相关性 42%

1.4

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

前沿论文

排序敏感性

稳定性：volatile；排名波动范围：261。

关键词评分

world model

world simulator

generative world model

interactive world model

video world model

world dynamics prediction

model-based reinforcement learning world model

深度分析

创新点

证明地理和时间结构可以从静态共现嵌入（GloVe、Word2Vec）中通过线性探针恢复，挑战了这种可恢复性在LLM中意味着世界模型的解释。
识别出可恢复信号依赖于可解释的词汇梯度（国家名称、气候词汇），而非抽象的世界表征。
表明简单的静态嵌入保留了比通常假设更丰富的空间、时间和环境结构。

方法

作者使用岭回归探针在静态词嵌入（GloVe和Word2Vec）上预测城市坐标和历史出生年份，并进行了语义邻居分析和目标子空间消融以理解信号的来源。

关键结果

城市坐标的留出R²值为0.71-0.87，历史出生年份为0.48-0.52，表明显著的地理信号和较弱但可靠的时间信号。

局限性

仅测试了静态共现嵌入（GloVe、Word2Vec），未测试其他嵌入类型或直接测试LLM。
时间信号弱于地理信号（R² 0.48-0.52 vs 0.71-0.87），表明时间变量的可恢复性有限。
可恢复信号严重依赖于可解释的词汇梯度（如国家名称、气候词汇），这可能反映表面相关性而非真实世界结构。
该研究未直接与LLM隐藏状态比较以量化超出共现统计的额外结构。

资源

论文