ReactHuman

数据集分析

对突发物理危险的反应（接住滑落的盘子、躲开下落的刀具）既是对具身智能的有意义测试，也是将多模态大语言模型（MLLMs）部署为家用机器人决策核心的硬性要求。然而，现有评估要么通过视频上的问答被动地探测直觉物理，要么针对导航、重排等深思熟虑的长程任务；没有一项评估模型能否将物理理解转化为即时的、安全关键的行动。我们提出 ReactHuman，这是首个用于类人反应决策的基于物理的基准；在评估中，MLLM 充当面临突发家庭危险的模拟人形机器人的大脑。该基准涵盖 17 类事件和超过 1,000 个可逐位复现的场景，具有从 240 Hz 刚体模拟中得到的精确、无需标注的 ground truth，并包含外观与其物理属性相矛盾的对抗性物体（泡沫铁砧、钢制苹果）。我们进一步设计了一套五个指标，从三个轴对每个反应进行评分：合理性、安全性和物理基属性。我们物理执行每一个提交的计划，使决策具有可观察的后果。借助这一框架，我们评估了七个有代表性的 MLLM。结果表明，反应性安全远未解决：模型在大约三分之一的危险中处理错误，依据固定倾向而非观察到的场景行动，相信外观而非运动，并且即使在所选动作正确时也会错过米级尺度的拦截点；这些失败均不随模型规模增大而减少。因此，ReactHuman 既提供了细粒度诊断，也提供了可扩展的训练信号，以推动走向物理基、具有安全意识的具身智能体。该基准可在此处找到：https://huggingface.co/datasets/Alan123/reacthuman-benchmark-scaled