ViPRA：面向机器人动作的视频预测

arXiv 25.11 2025 44.4 method, application

TLDR

ViPRA通过预测未来视觉和潜在动作，并用少量演示微调，将视频预测模型转化为机器人策略。

评分理由

The paper presents a novel pretraining-finetuning framework that leverages actionless videos for robot control, showing strong empirical gains on both simulated and real-world tasks. However, it relies on teleoperated demonstrations for finetuning and does not explicitly claim to be a world model, limiting direct relevance to the specified keywords.

Read-first 评分解释

综合优先阅读分 44.4，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 18。

近期性 8%

86.7

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2025

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、基准

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：代码、GitHub

主题相关性 42%

25.7

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

研究版图角色

前沿论文

排序敏感性

稳定性：volatile；排名波动范围：371。

关键词评分

world dynamics prediction

video world model

world model

model-based reinforcement learning world model

world simulator

generative world model

interactive world model

深度分析

创新点

ViPRA：一种预训练-微调框架，通过预测未来视觉观察和以运动为中心的潜在动作作为中间表示，从无动作标签的视频中学习连续机器人控制
使用感知损失和光流一致性训练潜在动作，确保其反映基于物理的行为
分块流匹配解码器，仅使用100-200次遥操作演示将潜在动作映射为机器人特定的连续动作序列
明确建模变化的内容和方式，与先前将预训练视为自回归策略学习的潜在动作工作不同

方法

ViPRA首先预训练一个视频-语言模型，使用感知损失和光流一致性预测未来视觉观察和以运动为中心的潜在动作。对于下游控制，使用100-200次遥操作演示微调一个分块流匹配解码器，将潜在动作映射为机器人特定的连续动作序列。

关键结果

ViPRA在SIMPLER基准上以16%的提升超越强基线，并在真实世界操作任务中实现了13%的改进。

资源

论文