在任务无关世界模型中强化VLA

arXiv 2026 50.8 method

TLDR

提出RAW-Dream，用任务无关世界模型和VLM奖励零样本VLA强化学习微调，仿真和真实世界验证。

评分理由

The paper introduces a novel paradigm that decouples world model learning from downstream tasks, using pre-trained task-free world models and off-the-shelf VLMs for reward, enabling zero-shot adaptation. Strengths include real-world experiments and a dual-noise verification mechanism; weaknesses are not explicitly discussed in the abstract, but the approach appears sound.

Read-first 评分解释

综合优先阅读分 50.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 41。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

引用影响力 18%

76.6

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.76641346

主题相关性 29%

58.6

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：实验

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

基础论文前沿论文桥接论文

排序敏感性

稳定性：volatile；排名波动范围：305。

关键词评分

world model

model-based reinforcement learning world model

world dynamics prediction

generative world model

interactive world model

world simulator

video world model

深度分析

创新点

完全将世界模型学习与下游任务依赖解耦，实现任务无关的世界模型和奖励模型。
使用在多样化无任务行为上预训练的世界模型预测未来轨迹，无需任务特定数据。
利用现成的视觉-语言模型（VLM）进行零样本奖励生成。
引入双噪声验证机制，过滤不可靠轨迹并减轻世界模型幻觉。

方法

RAW-Dream提出一种范式：使用在多样化无任务行为上预训练的世界模型生成想象轨迹，并利用现成的VLM提供奖励，无需任务特定微调。然后，VLA完全在此零样本想象中进行微调，同时双噪声验证机制过滤不可靠轨迹以减少幻觉。

关键结果

在仿真和真实世界设置中的大量实验表明，性能持续提升，证明通用物理先验可以有效替代昂贵的任务依赖数据。

资源

论文