SafeDojo: 基于交互世界模型的安全强化学习用于视觉-语言-动作策略

arXiv 2026 60.8 method

TLDR

SafeDojo提出首个基于世界模型想象的VLA安全强化学习框架，实现安全动作学习。

评分理由

The paper presents a novel integration of world models with safe RL for vision-language-action policies, demonstrating strong results on the SafeLIBERO benchmark. However, it lacks real-world validation and does not discuss limitations or generalizability beyond the simulated environment.

Read-first 评分解释

综合优先阅读分 60.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 53。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

引用影响力 18%

95.2

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.95155193

主题相关性 29%

75.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、结果

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

基础论文前沿论文桥接论文

排序敏感性

稳定性：volatile；排名波动范围：491。

关键词评分

world model

interactive world model

model-based reinforcement learning world model

video world model

world dynamics prediction

world simulator

generative world model

深度分析

创新点

首个基于世界模型想象的视觉-语言-动作策略模型基安全强化学习框架
交互式视频世界模型用于动作条件未来预测
ResNet成功分类器从想象帧估计每步任务进度
轻量级安全头从潜在上下文和动作块预测每步安全成本
基于拉格朗日的约束GRPO目标平衡任务奖励与安全成本

方法

SafeDojo在交互式视频世界模型之上进行在线强化学习，该模型生成动作条件的未来预测。定制的ResNet成功分类器从想象帧估计每步任务进度，轻量级安全头从潜在上下文和提出的动作块预测每步安全成本。解耦的任务奖励和安全成本信号通过基于拉格朗日的约束GRPO目标进行平衡，从而在显式约束下协调任务成功与安全的改进。

关键结果

在SafeLIBERO上，SafeDojo在基线中取得了最佳的综合任务成功率、安全成功率和执行效率，在Level I上比最强基线提高了8.25个百分点。真实世界Franka部署在五个任务中展示了最佳的平均任务成功率和安全成功率。

资源

论文