MetaOthello：Transformer中多个世界模型的受控研究

arXiv 26.2 2026 36.1 method, benchmark

TLDR

在多个Othello变体上训练的Transformer共享共同的棋盘状态表示，而非隔离世界模型。

评分理由

The paper introduces a controlled suite of Othello variants to study how transformers organize multiple world models, finding shared representations and transferable linear probes. Strengths include a clear experimental design and novel insights, but weaknesses are the limited scope (synthetic Othello games) and lack of real-world validation.

Read-first 评分解释

综合优先阅读分 36.1，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 34。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：分析、实验

主题相关性 29%

48.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

引用影响力 18%

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：0

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文

排序敏感性

稳定性：volatile；排名波动范围：162。

关键词评分

world model

world dynamics prediction

generative world model

world simulator

interactive world model

model-based reinforcement learning world model

video world model

深度分析

创新点

引入了MetaOthello，一个受控的Othello变体套件，具有共享语法但不同规则或令牌化方式
发现混合变体数据上训练的Transformer并未将容量划分为孤立的子模型，而是收敛于一个大部分共享的棋盘状态表示，该表示在变体之间因果传递
证明在一个变体上训练的线性探针可以干预另一个变体的内部状态，其效果接近匹配探针
发现对于具有令牌重映射的同构游戏，表示等价于一个跨层泛化的单一正交旋转
观察到当规则部分重叠时，早期层保持与游戏无关的表示，中间层识别游戏身份，后期层特化

方法

作者引入了MetaOthello，一个受控的Othello变体套件，具有共享语法但不同规则或令牌化方式。他们在混合变体数据上训练小型GPT，并使用线性探针和干预分析来研究多个世界模型如何在共享表示空间中被组织。

关键结果

在混合游戏数据上训练的Transformer收敛于一个大部分共享的棋盘状态表示，该表示在变体之间因果传递；来自一个变体的线性探针可以干预另一个变体，效果接近匹配探针。同构游戏产生等价于单一正交旋转的表示，部分重叠规则导致早期游戏无关层、中间身份层和后期特化层。

技术栈

GPTLinear ProbesIntervention AnalysisMetaOthello

资源

论文