TARDIS STRIDE

数据集分析

世界模型旨在模拟环境并实现有效的智能体行为。然而，对现实世界环境进行建模面临着独特的挑战，因为这些环境会在空间以及（至关重要的是）时间上动态变化。为了捕捉这些复合动态，我们引入了用于探索的时空道路图像数据集（STRIDE），它将360度全景图像重组为丰富的相互关联的观测、状态和动作节点。利用这一结构，我们可以同时建模自我中心视角、位置坐标和运动命令在空间与时间上的关系。我们通过TARDIS对该数据集进行基准测试，TARDIS是一个基于Transformer的生成式世界模型，通过统一的自回归框架整合了空间与时间动态，并在STRIDE上训练。我们在多种智能体任务上展示了稳健的性能，例如可控的照片级真实感图像合成、指令跟随、自主自控以及最先进的地理参照。这些结果表明，朝着能够理解并操纵其物质环境的空间与时间方面的复杂通用智能体——并具有增强的具身推理能力——这一方向前景广阔。训练代码、数据集和模型检查点可在 https://huggingface.co/datasets/Tera-AI/STRIDE 获取。