通过想象确保分层强化学习的安全性

arXiv 2026 52.9 method

TLDR

基于可学习世界模型的分层强化学习通过高层子目标和低层想象轨迹确保安全，在长时域任务上优于基线。

评分理由

The paper presents a novel integration of hierarchical policies with a world model for safe exploration, showing strong empirical results on challenging navigation and manipulation tasks. However, it lacks real-world validation and does not detail the world model architecture or training process.

Read-first 评分解释

综合优先阅读分 52.9，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 30。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

引用影响力 18%

95.2

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.95238224

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、指标

主题相关性 29%

42.9

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

基础论文前沿论文桥接论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：408。

关键词评分

world model

model-based reinforcement learning world model

world dynamics prediction

world simulator

generative world model

interactive world model

video world model

深度分析

创新点

结合可学习世界模型与分层策略（高层和低层），在两层上促进安全
高层策略生成中间子目标，引导探索朝向安全区域
低层策略利用学习的世界模型中的想象轨迹，减少到达子目标时的危险行为

方法

该方法整合了一个可学习的世界模型与两个互补策略：高层策略生成中间子目标以引导探索朝向安全区域，低层策略在学习的世界模型中进行想象轨迹推演，以最小化执行这些子目标时的危险行为。该方法在具有高维动作空间的长时域导航和操作任务上进行了评估，并与现有安全强化学习基线在成功率和约束满足度指标上进行了比较。

关键结果

该方法在成功率和强经验约束满足度上显著优于现有安全强化学习基线，在所有随机种子下始终满足预设的安全预算，而先前的方法无法有效解决这些复杂的长时域场景。

局限性

依赖于准确的学习世界模型，在复杂或部分可观测环境中可能难以获得
分层结构引入了额外的训练复杂性，并可能产生次优的子目标生成

资源

论文