在真实世界中学习Latent Action World Models

arXiv 26.1 2026 60.8 method

TLDR

从无动作标签的野外视频中学习潜在动作世界模型，使用连续约束潜在动作捕捉复杂动态。

评分理由

The paper expands world model learning to diverse real-world videos, addressing challenges like environmental noise and lack of common embodiment. Strengths include novel latent action representation and transferability; weaknesses are limited spatial localization and absence of full embodiment generalization.

Read-first 评分解释

综合优先阅读分 60.8，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 42。

近期性 8%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：基线、评估、实验

主题相关性 42%

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：无

研究版图角色

前沿论文方法锚点

排序敏感性

稳定性：volatile；排名波动范围：267。

关键词评分

world model

video world model

world dynamics prediction

generative world model

interactive world model

world simulator

model-based reinforcement learning world model

深度分析

创新点

在野外视频上学习潜在动作世界模型，超越了简单的机器人模拟、视频游戏或操作数据
使用连续但受约束的潜在动作代替向量量化，以捕捉来自多样化视频的动作复杂性
展示了智能体引起的环境变化（例如人类进入房间）在视频之间的转移
训练了一个将已知动作映射到潜在动作的控制器，使潜在动作能够作为规划任务的通用接口

方法

本文提出了一种世界模型，通过强制潜在动作空间的连续性和约束等属性，从无标签的野外视频中学习潜在动作。讨论了处理视频多样性、环境噪声和缺乏共同具身的架构选择。训练了一个控制器将已知动作映射到潜在动作，使世界模型能够用于规划任务，并与动作条件基线进行比较。

关键结果

连续约束潜在动作在捕捉野外动作复杂性方面优于向量量化，并且智能体引起的变化可以在视频之间转移。基于控制器的规划实现了与动作条件基线相似的性能。

局限性

视频之间缺乏共同具身导致潜在动作在空间上相对于相机局部化
环境噪声和视频多样性带来的挑战仅得到部分解决
该方法主要能够学习空间局部化的潜在动作，这可能限制了对其他类型动作或具身的泛化

资源

论文