CGGT

数据集分析

从二维图像恢复可编辑的三维参数曲线是计算机图形学中的一个基本挑战，它连接了基于像素的感知与基于矢量的CAD建模。现有的基于NeRF和3DGS的方法通常依赖密集的已标定视图、预计算的二维边缘图以及昂贵的逐场景优化，限制了其在随意拍摄的真实世界输入上的适用性。我们提出CGGT，一种曲线锚定的几何Transformer（Curve-Grounded Geometry Transformer），能够直接从稀疏、无位姿的多视图图像中，在图像空间内确定具有三维一致性的二维曲线实例。CGGT结合了用于多视图特征学习的几何感知Transformer编码器，以及用于跨视图实例关联的曲线感知掩码注意力解码器。在单次前向传播中，它预测相机参数、稠密深度图和实例级二维曲线掩码；这些结果随后被提升到三维，并通过一个快速的参数优化阶段进行细化，以恢复紧凑、可编辑的三维曲线基元。为支持结构化曲线学习，我们引入了Wireframe-100K，这是一个大规模数据集，包含10万个具有多样拓扑结构的CAD模型、真实感多视图渲染和精确的参数曲线标注。大量实验表明，我们的框架在重建准确性和效率方面均取得了显著提升，尤其是在具有挑战性的稀疏视图设置下，以及在将持久的3D结构边缘与由轮廓、纹理和外观变化引起的视图相关图像边缘区分开来的任务中。尽管仅在合成数据上训练，CGGT仍能很好地泛化到真实世界图像，展示了其从无约束视觉输入进行实用CAD风格线框重建的潜力。