基础模型发现了什么？利用归纳偏置探测世界模型

ICML 25 2025 48.6 method

TLDR

提出归纳偏置探测法评估基础模型是否学习世界模型，发现其常无法超越任务特定启发式进行泛化。

评分理由

Strengths: novel evaluation technique, clear experimental setup across domains. Weaknesses: limited to synthetic data, no real-world validation; results may not generalize to all foundation models.

Read-first 评分解释

综合优先阅读分 48.6，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 20。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：分析、数据集、实验

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：数据集

主题相关性 42%

28.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：480。

关键词评分

world model

world dynamics prediction

generative world model

world simulator

interactive world model

video world model

model-based reinforcement learning world model

深度分析

创新点

开发了一种归纳偏置探测技术，通过衡量模型归纳偏置与假设世界模型的对齐程度，评估基础模型是否捕捉到更深层次的世界模型。
发现基础模型在训练任务上可以达到高性能，但在适应新任务时未能发展出对底层世界模型的归纳偏置。
具体发现：在轨道轨迹上训练的模型在适应新的物理任务时始终无法应用牛顿力学，而是依赖任务特定启发式。

方法

作者提出了一种归纳偏置探测方法，通过检查模型如何适应从假设的世界模型生成的合成数据集来评估基础模型。该技术衡量模型归纳偏置与世界模型之间的对齐程度。实验在多个领域进行，重点聚焦于轨道轨迹和物理任务，使用合成数据和适应任务来评估泛化能力。

关键结果

基础模型在其原始训练任务上表现出色，但在适应新任务时未能发展出对底层世界模型的归纳偏置。特别是，在轨道轨迹上训练的模型在适应新的物理任务时始终无法应用牛顿力学，而是表现出无法泛化的任务特定启发式。

局限性

该探测方法依赖于从假设的世界模型生成的合成数据集，可能无法捕捉真实世界数据的复杂性和噪声。
研究结果主要基于轨道轨迹进行展示，尚未充分验证其向其他领域和世界模型的泛化能力。

技术栈

inductive bias probesynthetic datasetsorbital trajectoriesNewtonian mechanics

资源

论文