VisualPatchWorld：代码世界模型作为规划中的潜在结构化表示

arXiv 2026 46.1 method

TLDR

VisualPatchWorld将世界动态表示为代码，通过主动探测和参数拟合进行规划，优于先前的代码模型。

评分理由

The paper introduces a novel code-based world model with strong empirical results (69.0% planning success, +23.5 points over baseline). Strengths include inspectability and editability; weaknesses are the lack of explicit real-world evaluation and potential limitations in contact-rich tasks.

Read-first 评分解释

综合优先阅读分 46.1，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 47。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、结果

主题相关性 29%

67.1

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码、GitHub

引用影响力 18%

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：0

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：447。

关键词评分

world model

world dynamics prediction

interactive world model

model-based reinforcement learning world model

world simulator

generative world model

video world model

深度分析

创新点

将世界动态表示为代码，使模型可检查、可编辑，并可直接用作模拟器。
通过短主动探测选择定性动力学形式，然后从状态-动作轨迹中拟合自由参数。
通过最小化记录轨迹上的多步预测误差来拟合基于代码的模型参数。
集成图像导出的场景图，为模型预测控制重新规划提供实时状态。

方法

VisualPatchWorld首先使用短主动探测选择定性动力学形式，然后通过最小化多步预测误差，从记录的状态-动作轨迹中优化该形式的自由参数。得到的代码程序可以像模拟器一样向前滚动，并用于模型预测控制，其中图像导出的场景图在重新规划时提供实时状态。

关键结果

VPW达到69.0%的平均规划成功率，比最强的代码基线高出23.5个百分点。在相同规划器下，诱导模型在导航和抓取丰富控制上接近真实引擎的成功率，而在接触丰富的推物任务上存在残留差距，但通过检查引擎中的少量有希望计划可弥补大部分差距。

局限性

在接触丰富的推物任务上仍存在残留性能差距，表明自动构建的代码模型可能无法完全捕捉复杂的接触动力学。
弥补推物任务的差距需要额外的基于引擎的验证步骤，增加了额外开销。

技术栈

PythonPyTorchScene Graph GenerationModel Predictive Control (MPC)

资源

论文