Puffin-World：基于原生3D世界状态扩展统一多模态模型

arXiv 2026 44.8 method

TLDR

Puffin-World统一建模物理、几何与外观三种原生3D世界状态，实现物理一致的世界生成，并开源数据集和代码。

评分理由

The paper presents a novel unified architecture with appealing joint modeling of world states and a large dataset, but the abstract lacks quantitative results or explicit benchmark evaluations, making it hard to assess empirical effectiveness. The connection to reinforcement learning is absent, so related keyword scores are low.

Read-first 评分解释

综合优先阅读分 44.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 46。

方法质量 15%

100

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、数据集、实验、指标、结果

近期性 5%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

主题相关性 25%

65.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 15%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码、数据集、GitHub

图谱声望 15%

5.7

基于可用 OpenAlex 引用关系构建局部引用图，并计算 PageRank 风格的图谱声望。局部 PageRank：0.0016

引用影响力 15%

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。引用数：0

引用速度 10%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：842。

关键词评分

world model

world simulator

generative world model

world dynamics prediction

interactive world model

video world model

model-based reinforcement learning world model

深度分析

创新点

无需外部离线模块的统一多模态架构，整合物理理解、空间模拟以及3D世界生成与重建。
联合建模三种原生3D世界状态：物理（重力场与纬度）、几何（深度）和外观（图像）。
统一的全景相机（Omni-Camera）表示，支持多种任务和灵活运动。
通过将绝对相机属性锚定在真实世界中，跨未来帧传播物理动态，实现物理一致且视觉稳定的世界生成。
在单一生成过程中耦合外观与几何，联合合成未来视图并重建底层几何。
构建并发布Puffin-16M数据集，包含1500万个视觉-语言-相机三元组和100万条具有多样且高难度运动的轨迹。

方法

Puffin-World是一种统一多模态架构，使用统一的全景相机（Omni-Camera）表示联合建模原生3D世界状态——物理（重力场与纬度）、几何（深度）与外观（图像）。它通过将绝对相机属性锚定在真实世界中来跨未来帧传播物理动态，并在单一生成过程中耦合外观与几何，以合成未来视图同时重建深度。该框架利用Puffin-16M数据集进行扩展，该数据集包含1500万个视觉-语言-相机三元组和100万条具有多样且高难度运动的轨迹。

关键结果

摘要指出，Puffin-World实现了物理一致且视觉稳定的世界生成，并支持需要多任务协同的交错闭环应用，包括模仿（mimic）与自校准世界探索。摘要中未提供定量指标或基线对比。

局限性

标题和摘要中未明确说明局限性或失败模式。
摘要未报告定量实验结果或与基线的比较。

资源

论文项目