多模态模型会想象电子羊吗？

arXiv 2026 50.4 method

TLDR

多模态模型在解决空间谜题时发展出心理意象，无需显式视觉监督即形成不完美的视觉世界模型。

评分理由

The paper presents a novel finding that VLMs encode visual intermediate states as a byproduct of action prediction, supported by empirical gains from integrating visual tokens. However, the claim is limited to specific puzzle tasks and lacks comparison to explicit world model training.

Read-first 评分解释

综合优先阅读分 50.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 43。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

引用影响力 18%

71.7

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.71699013

主题相关性 29%

61.4

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：无

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文桥接论文

排序敏感性

稳定性：volatile；排名波动范围：329。

关键词评分

world model

world dynamics prediction

interactive world model

world simulator

model-based reinforcement learning world model

generative world model

video world model

深度分析

创新点

证明大型多模态模型在学习选择正确动作的过程中，作为副产品发展出心理意象，无需显式视觉监督。
提出两种方法来锐化和利用模型形成的心理图像。
表明在思维链中每步仅集成十六个视觉标记，即可将解决率从83%提升至89%。

方法

作者在十二种多样的视觉推理任务（tangram、jigsaw、sokoban、3D mental rotation、rush hour等）上微调Qwen3.5 VLM，这些任务需要几何、空间关系和动作后果的理解。模型被监督以从初始状态预测开环动作序列，并分析激活以评估中间视觉状态的编码。

关键结果

模型在每个动作后的激活编码了关于中间状态的有意义的视觉信息，表明形成了不完美的视觉世界模型。在思维链中每步添加十六个视觉标记，将平均解决率从83%提升至89%，在jigsaw和3D mental rotation等推理密集型任务上提升显著。

资源

论文