通过世界模型学习的安全规划与策略优化

arXiv 25.6 2025 50.7 method

TLDR

基于模型强化学习框架，通过自适应规划、隐式世界模型和动态安全阈值联合优化安全与性能。

评分理由

The paper presents a novel approach to safe RL by addressing world model errors and objective mismatch, with strong empirical results on safety-critical tasks. However, the abstract lacks details on the specific environments and baselines, and the implicit world model concept is not fully explained.

Read-first 评分解释

综合优先阅读分 50.7，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 31。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：评估、实验

主题相关性 42%

44.3

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：366。

关键词评分

world model

model-based reinforcement learning world model

world dynamics prediction

world simulator

generative world model

interactive world model

video world model

深度分析

创新点

在基于模型的强化学习框架中联合优化任务性能与安全性
自适应机制，动态切换基于模型的规划与直接策略执行，以应对世界模型误差
隐式世界模型，解决传统基于模型方法的目标不匹配问题
动态安全阈值，适应智能体不断发展的能力

方法

所提出的框架是一种基于模型的强化学习方法，学习世界模型并联合优化任务性能与安全性。它包含一个自适应机制，用于在基于模型的规划与直接策略执行之间切换；使用隐式世界模型解决目标不匹配问题；并采用动态安全阈值，适应智能体的能力。该方法在多种安全关键型连续控制任务上，与非自适应方法和现有方法进行了评估。

关键结果

该框架相比非自适应方法取得了显著改进，同时优化安全性与性能，而不仅仅是满足最低安全要求。它在多种安全关键型连续控制任务上优于现有方法。

局限性

自适应切换机制和动态阈值可能引入额外复杂性，需要仔细调参
评估仅限于连续控制任务；未展示对离散或其他领域的泛化能力
该方法仍然依赖世界模型学习，严重的模型不准确可能尽管有自适应机制仍会降低性能

资源

论文