PointWorld：面向野外机器人操作的大规模3D世界模型

arXiv 26.1 2026 64.3 method, application

TLDR

PointWorld是一个大规模预训练的3D世界模型，通过预测3D点流实现跨具身实时MPC操作。

评分理由

Strengths include a large-scale dataset (2M trajectories), real-time inference, cross-embodiment learning, and real-world validation. Weaknesses: the abstract is cut off, and reliance on RGB-D and point flows may limit generalization to other modalities.

Read-first 评分解释

综合优先阅读分 64.3，由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。原始总分保留为 52。

近期性 8%

100

使用温和的时间衰减，让近期论文更容易浮现，同时保留较早基础工作的价值。年份：2026

主题相关性 42%

74.3

使用现有 LLM 关键词相关性评分，并归一化到 0-100。关键词：world model、world simulator、generative world model、interactive world model、video world model、world dynamics prediction、model-based reinforcement learning world model

方法质量 25%

检查可见的摘要与分析字段，寻找实验、数据集、基线、指标和局限性等方法证据。命中信号：数据集

可复现性 25%

检查链接和可见文本中的论文、代码、数据集、工件与仓库信号。论文：有；代码：无；数据：无；命中信号：检查点、数据集、GitHub

研究版图角色

前沿论文

排序敏感性

稳定性：volatile；排名波动范围：292。

关键词评分

world model

world dynamics prediction

generative world model

interactive world model

world simulator

model-based reinforcement learning world model

video world model

深度分析

创新点

将状态和动作统一在共享3D空间中表示为3D点流，实现与具身无关的动作表示
将3D世界模型扩展到大规模预训练，涵盖约200万条轨迹，涉及多种具身（Franka、双臂人形机器人）
实时推理（0.1秒），可集成到模型预测控制中用于野外操作
单个预训练检查点无需微调或演示即可泛化到刚体推拉、可变形/铰接物体操作和工具使用

方法

PointWorld是一个大规模预训练的3D世界模型，输入一张或几张RGB-D图像以及一系列低级机器人动作指令，输出响应于动作的逐像素3D位移（点流）。该模型在整理的数据集上训练，包含约200万条轨迹（500小时），涵盖真实和模拟环境中的Franka臂和双臂人形机器人，并通过骨干网络、动作表示、学习目标和数据混合的实证研究进行优化。模型部署在模型预测控制（MPC）框架中实现实时操作。

关键结果

PointWorld实现了实时推理（0.1秒），单个预训练检查点即可使真实世界的Franka机器人从一张野外图像执行刚体推拉、可变形和铰接物体操作以及工具使用，无需任何演示或后训练。

技术栈

RGB-D cameras3D point flowsmodel-predictive control (MPC)Franka robotbimanual humanoidsimulated environments

资源

论文项目