Pelican-Unify 1.0:面向理解、推理、想象与行动的统一具身智能模型
TLDR
Pelican-Unify 1.0将视觉语言理解、推理、未来视频/动作生成与行动统一于一个具身模型,基准表现强劲。
评分理由
The paper proposes a unified architecture with shared VLM and latent conditioning for future video/action generation, supported by benchmark results across understanding, video generation, and robot action. However, the abstract lacks details on baselines, limitations, and real-world deployment, making some claims hard to fully assess.
Read-first 评分解释
综合优先阅读分 39.6,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 45。
研究版图角色
排序敏感性
稳定性:volatile;排名波动范围:519。
关键词评分
深度分析
创新点
- 提出了Pelican-Unify 1.0作为统一具身基础模型,使用单一VLM将场景、指令、视觉上下文和动作历史映射到共享语义空间。
- 将同一VLM用作统一推理模块,在一次前向传播中自回归生成面向任务、动作和未来的思维链,并将最终隐藏状态投影为稠密潜变量。
- 提出统一未来生成器(UFG),以潜变量为条件,在同一去噪过程中通过两个模态特定输出头联合生成未来视频和未来动作。
- 将语言、视频和动作损失共同反向传播到共享表示中,从而统一优化理解、推理、想象和行动,而非训练孤立的专家系统。
方法
Pelican-Unify 1.0使用单一VLM同时进行理解与推理,将多种输入映射到共享语义空间,并自回归输出思维链和稠密潜表示。统一未来生成器以该潜变量为条件,在同一去噪过程中通过两个模态特定输出头联合生成未来视频和动作输出。语言、视频和动作损失反向传播到共享表示中以实现联合优化;摘要中未说明训练数据细节。
关键结果
使用单个检查点,Pelican-Unify 1.0在八个VLM基准上达到64.7(可比规模模型中最佳),在WorldArena上达到66.03(排名第一),在RoboTwin上达到93.5(对比动作方法中平均成绩第二)。作者认为这些结果表明统一范式保持了专家级性能。
局限性
- 标题和摘要中未明确说明局限性。