Awesome World Model Hub 论文 · 数据集 · 项目
← 返回论文列表

IGOR:图像目标表示是具身AI中基础模型的原子控制单元

arXiv 24.10 2024 41 method

TLDR

IGOR从图像-目标对学习统一潜在动作空间,实现人机数据知识迁移,用于基础策略和世界模型。

评分理由

The paper introduces a novel method for unifying action spaces across humans and robots using visual changes, enabling cross-domain transfer and language alignment. Strengths include leveraging internet-scale video data and demonstrating semantic consistency; weaknesses are the lack of explicit real-world experimental validation in the abstract.

Read-first 评分解释

综合优先阅读分 41,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 29。

近期性 8%
75.1

使用温和的时间衰减,让近期论文更容易浮现,同时保留较早基础工作的价值。 年份:2024

主题相关性 42%
41.4

使用现有 LLM 关键词相关性评分,并归一化到 0-100。 关键词:world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 25%
40

检查可见的摘要与分析字段,寻找实验、数据集、基线、指标和局限性等方法证据。 命中信号:无

可复现性 25%
30

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。 论文:有;代码:无;数据:无;命中信号:无

研究版图角色

候选论文

排序敏感性

稳定性:volatile;排名波动范围:213。

关键词评分

world model
8
video world model
5
generative world model
4
world dynamics prediction
4
world simulator
3
model-based reinforcement learning world model
3
interactive world model
2

深度分析

创新点

  • 通过压缩初始图像与目标图像之间的视觉变化,实现跨人类和机器人的统一潜在动作空间
  • 通过潜在动作实现大规模机器人和人类活动数据之间的知识迁移
  • 为互联网规模的视频数据生成潜在动作标签
  • 跨视频迁移物体运动,包括人类与机器人之间的跨实体迁移
  • 将潜在动作与自然语言对齐,集成到低级机器人控制中

方法

IGOR通过将初始图像与其目标状态之间的视觉变化压缩为潜在动作,学习一个统一的潜在动作空间。该潜在空间用于在多样化的机器人和人类活动数据上训练基础策略模型和世界模型,从而实现知识迁移和为互联网规模的视频数据生成动作标签。

关键结果

IGOR展示了对于人类和机器人语义一致的动作空间,成功实现了跨视频的物体运动迁移(包括人机迁移),并将潜在动作与自然语言对齐以实现有效的机器人控制。

标签