HoW-3D

数据集分析

本文研究了整体三维线框感知（HoW-3D）问题，这是一个从单视图二维图像中同时感知可见和不可见三维线框的新任务。由于物体的非正面表面无法在单视图中直接观察，估计HoW-3D中的非视线（NLOS）几何结构是一个根本性的挑战性问题，在计算机视觉中仍未解决。我们通过提出ABC-HoW基准来研究HoW-3D问题，该基准基于来自ABC-dataset的CAD模型构建，包含12k张单视图图像及对应的整体三维线框模型。借助我们的大规模ABC-HoW基准，我们提出了一种新颖的深度空间格式塔（DSG）模型，该模型以学习可见的角点和线段为基础，然后遵循人类视觉系统的格式塔原理，从可见线索推断NLOS三维结构。在我们的实验中，我们证明了DSG模型在从单视图图像推断整体三维线框方面表现非常出色。与强基线方法相比，我们的DSG模型在检测单视图图像中的不可见线几何结构方面优于先前的线框检测器，甚至在以高保真点云作为输入的三维线框重建任务中，也与现有先进方法具有竞争力。