LDA-1B:通过通用具身数据摄入扩展潜动力学动作模型
TLDR
LDA-1B通过联合学习动力学、策略和视觉预测扩展机器人基础模型,超越先前方法。
评分理由
The paper introduces a novel approach to scaling robot foundation models via universal data ingestion and latent dynamics prediction, with strong empirical results in simulation and real world. However, the reliance on a specific latent representation (DINO) and complex multi-modal architecture may limit generalizability.
Read-first 评分解释
综合优先阅读分 40.8,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 42。
研究版图角色
前沿论文
排序敏感性
稳定性:volatile;排名波动范围:263。
关键词评分
深度分析
创新点
- 通过联合学习动力学、策略和视觉表示,为不同质量数据分配不同角色,实现通用具身数据摄入。
- 通过结构化的DINO潜空间中的预测进行可扩展的动力学学习,避免像素空间外观建模。
- 采用多模态扩散变换器处理异步视觉和动作流,实现1B参数规模下的稳定训练。
- 创建了EI-30k,一个包含超过30k小时人类和机器人轨迹的统一具身交互数据集。
- 数据高效的微调,利用通常有害的30%低质量轨迹获得10%的提升。
方法
LDA-1B是一个1B参数的机器人基础模型,从统一异构数据集(EI-30k)中联合学习动力学、策略和视觉表示。它使用结构化的DINO潜空间进行动力学预测以避免像素空间建模,并采用多模态扩散变换器处理异步视觉和动作流。
关键结果
LDA-1B在接触密集、灵巧和长时域任务上分别比先前方法(如π_{0.5})高出21%、48%和23%,并通过利用30%低质量轨迹实现了数据高效的微调,获得10%的提升。