AcceRL：面向视觉-语言-动作模型的分布式异步强化学习与世界模型框架

arXiv 26.3 2026 35.5 system, application

TLDR

AcceRL是一种分布式异步RL框架，通过隔离交互、推理和更新并集成世界模型，提升VLA模型的吞吐量和样本效率。

评分理由

The paper presents a practical solution to synchronization bottlenecks in RL for VLA models, achieving notable throughput and sample efficiency gains. However, the world model integration is not a novel contribution, and experiments are limited to simulation benchmarks without real-world validation.

Read-first 评分解释

综合优先阅读分 35.5，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 11。

近期性 6%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 18%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、实验

可复现性 18%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码、GitHub

引用影响力 18%

35.5

使用 OpenAlex 形态的引用元数据作为文献关注度信号，并与论文本身质量分开处理。归一化引用分位：0.35463074

主题相关性 29%

15.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

引用速度 12%

引用速度按发表年限估算年均引用，降低旧论文天然占优的偏差。年均引用：0.00

研究版图角色

前沿论文

排序敏感性

稳定性：volatile；排名波动范围：93。

关键词评分

world model

model-based reinforcement learning world model

world simulator

generative world model

interactive world model

video world model

world dynamics prediction

深度分析

创新点

分布式异步RL框架，物理隔离环境交互、模型推理和梯度更新，消除级联长尾空闲气泡
模块化设计，支持将多种即插即用的世界模型集成到分布式流水线中
通过利用在1000条离线轨迹上预训练的世界模型，实现高达200倍的在线样本效率提升

方法

AcceRL是一种面向视觉-语言-动作（VLA）模型的分布式异步强化学习框架。它将环境交互、模型推理和梯度更新物理分离到不同的工作节点上，以最大化硬件利用率并避免同步屏障。该框架还采用模块化设计，允许将预训练的世界模型无缝集成到分布式流水线中。

关键结果

异步架构相比领先的同步基线实现了2.4倍的吞吐量加速。通过利用在1000条离线轨迹上预训练的世界模型，AcceRL在LIBERO-Spatial上实现了高达200倍的在线样本效率提升，同时在全部四个LIBERO任务套件上保持具有竞争力的性能。

资源

论文