基于梯度惩罚潜在动力学的平滑梦境与高效采样

arXiv 2026 60.2 method

TLDR

GPLD通过对DreamerV3的潜在动态施加雅可比惩罚正则化，提高连续控制任务的样本效率。

评分理由

The paper presents a simple yet effective regularization technique that improves sample efficiency, especially on complex locomotion tasks. However, the evaluation is limited to simulated proprioceptive tasks, and the method's generality to other domains (e.g., visual or discrete) is not demonstrated.

Read-first 评分解释

综合优先阅读分 60.2，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 38。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：有；数据：无；命中信号：代码、GitHub

引用影响力 18%

76.2

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.76219694

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线

主题相关性 29%

54.3

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

基础论文前沿论文桥接论文复现锚点

排序敏感性

稳定性：volatile；排名波动范围：471。

关键词评分

model-based reinforcement learning world model

world model

world dynamics prediction

generative world model

world simulator

interactive world model

video world model

深度分析

创新点

针对DreamerV3的梯度惩罚潜在动态正则化器（GPLD）
对后验潜在分布施加行式雅可比惩罚，以鼓励局部平滑的转移学习
将该惩罚解释为离散嵌入状态MDP中有限差分平滑的连续潜在模拟
使用Hutchinson风格随机探针高效估计该惩罚

方法

作者提出GPLD，一种对DreamerV3潜在动态的后验潜在分布添加行式雅可比惩罚的正则化器。该惩罚通过Hutchinson随机探针高效估计。方法在DeepMind Control本体感受任务和四足运动任务上评估，与DreamerV3基线比较样本效率和学习的稳定性。

关键结果

GPLD在DeepMind Control任务上提高了总体样本效率，在复杂度较高的运动环境中提升尤为显著。在四足任务上，GPLD更早达到高回报行为，并在更长的时间跨度内表现出更一致的后期学习。

局限性

该方法仅在平滑连续控制环境中得到验证，在离散或非平滑环境中的有效性尚未评估。
摘要中未量化Hutchinson风格随机探针的计算开销。

技术栈

DreamerV3GPLDHutchinson stochastic probesJacobian penalty

资源

论文代码