基于4D时空嵌入的自监督多模态世界模型

World Modeling Workshop 26 2026 59.3 method

TLDR

DeepEarth提出Earth4D，一种4D时空位置编码器，用于自监督多模态世界建模，在生态预测上达到最优。

评分理由

Strengths include a novel 4D hash encoding that scales to planetary level, multi-modal fusion, and state-of-the-art results on a benchmark with open-source code. Weaknesses are limited evaluation to a single ecological forecasting task and no explicit demonstration of interactive or video capabilities.

Read-first 评分解释

综合优先阅读分 59.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 29。

近期性 8%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：代码、GitHub、开源

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基准

主题相关性 42%

41.4

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

前沿论文复现锚点

排序敏感性

稳定性：volatile；排名波动范围：503。

关键词评分

world model

generative world model

world dynamics prediction

world simulator

video world model

interactive world model

model-based reinforcement learning world model

深度分析

创新点

Earth4D：一种新颖的行星尺度4D时空位置编码器，将3D多分辨率哈希编码扩展至时间维度，实现亚米级、亚秒级精度覆盖数百年
自监督多模态世界模型，通过掩码重建将视觉-语言编码器与Earth4D嵌入融合
可学习哈希探测，超越了在更多数据上预训练的多模态基础模型

方法

DeepEarth使用Earth4D，一种将3D多分辨率哈希编码扩展至时间维度的4D时空位置编码器，实现高效的行星尺度覆盖。多模态编码器（如视觉-语言模型）与Earth4D嵌入融合，整个模型通过掩码重建进行训练。

关键结果

Earth4D在一个生态预测基准上取得了最先进性能。配备可学习哈希探测后，它超越了在更多数据上预训练的多模态基础模型。

技术栈

Earth4Dmulti-resolution hash encodingvision-language modelsmasked reconstructionlearnable hash probing

资源

论文项目