⌁ Awesome World Model Hub 论文 · 数据集 · 项目
English GitHub
← 返回论文列表

揭示与改进世界模型中的泛化能力

arXiv 24.12 2024 48.4 theory

TLDR

本文通过随机微分方程分析世界模型泛化，发现零漂移误差起到正则化作用，并提出针对非零漂移的雅可比正则化。

评分理由

Strengths include a novel theoretical framework using stochastic differential equations to analyze representation errors and a practical Jacobian regularization method that improves stability and long-horizon prediction. Weaknesses are that the analysis is limited to specific error types and may not generalize to all world model architectures or tasks.

Read-first 评分解释

综合优先阅读分 48.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 33。

近期性 8%
75.1

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。 年份：2024

方法质量 25%
60

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号：实验、结果

主题相关性 42%
47.1

使用现有 LLM 关键词相关性评分，并归一化到 0-100。 关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%
30

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文：有；代码：无；数据：无；命中信号：无

研究版图角色

候选论文

排序敏感性

稳定性：volatile；排名波动范围：308。

关键词评分

world model
10
model-based reinforcement learning world model
8
world dynamics prediction
7
generative world model
3
world simulator
2
video world model
2
interactive world model
1

深度分析

创新点

  • 将世界模型学习视为随机动力系统的随机微分方程（SDE）公式
  • 刻画零漂移和非零漂移情况下潜在表示误差对鲁棒性和泛化的影响
  • 发现适度的零漂移潜在表示误差可作为隐式正则化，提升鲁棒性
  • 提出雅可比正则化方案以减轻非零漂移引起的累积误差传播

方法

本文通过将世界模型学习视为随机动力系统，开发了随机微分方程公式。它从理论和实验上分析了潜在表示误差的影响，区分了零漂移和非零漂移情况。提出了一种雅可比正则化方案以减少非零漂移引起的累积误差传播，并通过实验研究评估了其有效性。

关键结果

理论和实验结果表明，适度的零漂移潜在表示误差可作为隐式正则化，从而提升鲁棒性。所提出的雅可比正则化稳定了训练，加速了收敛，并提高了长时域预测的准确性。

技术栈

World ModelsStochastic Differential Equations (SDE)Jacobian RegularizationReinforcement Learning

资源

论文

标签