使离线强化学习在线化：面向离线视觉强化学习的协作世界模型
TLDR
CoWorld利用在线模拟器通过协作世界模型缓解跨域差异，从而改进离线视觉强化学习。
评分理由
The paper presents a novel approach combining offline and online RL using world models, addressing overfitting and overestimation bias. However, it relies on off-the-shelf simulators and lacks real-world validation, limiting generalizability.
Read-first 评分解释
综合优先阅读分 60.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 35。
研究版图角色
复现锚点
排序敏感性
稳定性：volatile；排名波动范围：273。
关键词评分
深度分析
创新点
- 为价值估计构建更灵活的约束，同时不妨碍潜在优势的探索
- 利用现成的强化学习模拟器作为离线策略的"测试床"，实现在线交互
- 提出CoWorld，一种基于模型的强化学习方法，通过缓解状态和奖励空间中的跨域差异，实现有效的在线到离线知识迁移
方法
CoWorld是一种基于模型的强化学习方法，利用现成的强化学习模拟器作为离线策略的在线测试床。它通过缓解状态和奖励空间中的跨域差异，实现从在线到离线环境的有效知识迁移。该方法解决了表示学习中的过拟合问题和价值估计中的高估偏差。
关键结果
CoWorld在离线视觉强化学习任务上大幅优于现有强化学习方法。