在世界模型中训练客体永久性
TLDR
提出WROP合成数据集与测验,训练视频模型的客体永久性;PWM-WROP在续写模型中居首。
评分理由
The paper presents a large, carefully designed synthetic benchmark and evaluates many video models, with strong resource release and empirical rigor. However, the reliance on Blender-generated synthetic tasks may limit generalization to real-world physical scenes, and the abstract does not demonstrate interactive or RL-based world model capabilities.
Read-first 评分解释
综合优先阅读分 33.4,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 36。
研究版图角色
前沿论文
排序敏感性
稳定性:volatile;排名波动范围:258。
关键词评分
深度分析
创新点
- WROP数据基础设施:150个手工设计的认知科学启发任务,分为六个认知类别,用于客体永久性与固态性。
- 基于Blender的生成器,在保持每个任务认知结构的同时随机化速度、光照、相机角度等干扰参数,每个任务生成10,000+样本。
- 发布150万样本训练语料和300题考试,用于评估视频模型中的客体永久性。
- PWM-WROP:16B世界模型;PWM:基于原生PyTorch的AWS Trainium2训练栈。
- 对14个视频模型(涵盖reference-to-video、edit和continuation任务)进行盲法成对Elo评估。
方法
作者设计了六个认知类别下的150个认知科学启发任务,并构建Blender生成器,在保持认知结构的同时随机化速度、光照、相机角度等干扰参数,从而生成150万样本训练语料和300题考试。他们使用盲法成对Elo研究评估了14个视频模型,包括其16B的PWM-WROP。
关键结果
在300题WROP考试中,PWM-WROP在continuation模型中排名第一,总体排名第三,仅次于两个reference-to-video模型之间的统计平局。
技术栈
BlenderPyTorchAWS Trainium2