Apple-π: 通过视频对基于物理定律的物理智能进行思维基准测试

arXiv 2026 44.4 benchmark

TLDR

提出Apple-PI基准，通过经典力学任务评估视频模型基于物理定律的推理。

评分理由

Strengths include a novel three-stage protocol for diagnosing reasoning bottlenecks and a hybrid evaluation suite combining subjective and objective measures. Weaknesses are the limited scope to classical mechanics and potential lack of diversity in physics tasks.

Read-first 评分解释

综合优先阅读分 44.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 42。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、数据集、评估、指标

主题相关性 29%

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：数据集

引用影响力 18%

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：0

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：445。

关键词评分

world model

world simulator

video world model

generative world model

world dynamics prediction

interactive world model

model-based reinforcement learning world model

深度分析

创新点

首个评估视频模型基于物理定律推理过程（而非仅输出合理性）的基准测试
Orchard数据集：400个视频，十个经典力学典型任务，区分单定律任务（无混杂因素诊断）和多定律任务（泛化探测）
基于科学推理的三阶段协议（感知、形式化、演绎），使用基于信息图注释的首帧的帧链提示，将生成视频视为可视化推理轨迹
混合评估套件，结合基于MLLM的主观评分和基于物理定律的客观度量，实现阶段解析的失败诊断

方法

该基准测试包含一个400个经典力学任务视频的数据集、一个三阶段推理协议（使用基于信息图注释的首帧的帧链提示生成视频作为推理轨迹），以及一个混合评估套件（结合MLLM主观评分和基于物理定律的客观度量）。通过该协议评估了11个视频模型，实现了感知、形式化和演绎失败的阶段解析诊断。

关键结果

最佳视频模型得分仅为0.473，表明当前模型远非可靠的基于定律的世界模拟器。阶段解析分析揭示了从感知到形式化再到演绎的瓶颈、薄弱的多定律状态转移以及持续的模拟到现实差距。

技术栈

视频生成模型MLLM (多模态大语言模型)帧链提示 (chain-of-frames prompting)信息图注释 (infographic annotation)基于物理定律的客观度量

资源

论文