PhysBrain 1.5：从视觉语言模型到物理基础模型

arXiv 2026 36.7 method

TLDR

PhysBrain 1.5在8B视觉语言模型中统一物理理解、动作生成与未来状态预测，在具身理解基准上取得强结果。

评分理由

The paper presents a coherent framework that jointly models language, actions, and visual future states, with strong benchmark evidence across 28 tasks. However, action generation and future prediction are only shown qualitatively, so claims about physical interaction capabilities are less rigorously validated.

Read-first 评分解释

综合优先阅读分 36.7，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 41。

近期性 5%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 15%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准、评估、结果

主题相关性 25%

58.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 15%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码

图谱声望 15%

5.7

基于可用 OpenAlex 引用关系构建局部引用图，并计算 PageRank 风格的图谱声望。局部 PageRank：0.0016

引用影响力 15%

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：0

引用速度 10%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：361。

关键词评分

world model

world dynamics prediction

interactive world model

generative world model

video world model

world simulator

model-based reinforcement learning world model

深度分析

创新点

在统一学习框架中整合物理环境理解、动作生成与未来状态预测。
将语言响应、末端执行器运动与稠密视觉目标编码为离散序列，以进行联合自回归下一词元预测。
完全利用人类交互视频进行预训练，通过以任务为中心的片段，将语义与空间上下文同恢复出的运动和后续观察配对，从而获取具身监督。
通过在人类演示、机器人轨迹和模拟经验的混合数据上进行监督微调来适配模型。
生成空间对齐的RGB、深度和机器人掩码输出，用于未来场景预测。

方法

PhysBrain 1.5从通用视觉-语言模型出发，将语言响应、末端执行器运动与稠密视觉目标编码为离散序列，并通过自回归下一词元预测联合优化。它完全基于人类交互视频进行预训练，使用以任务为中心的片段，随后在人类演示、机器人轨迹和模拟经验的混合数据上进行监督微调。评估在28个具身理解基准上进行，并通过定性示例评估动作生成与未来场景预测。

关键结果

8B模型在28个具身理解基准上平均得分72.5，刷新开源最优水平，并与GPT-6-Astra和Gemini 3.6 Flash等专有模型表现相当；它在14个基准上取得最佳开源结果。定性示例展示了通过空间对齐的RGB、深度和机器人掩码输出生成的末端执行器轨迹与未来场景预测。

资源

论文