建筑物边缘感知和边缘融合的多视图立体三维重建方法

转载自：数智地球

论文：Edge aware depth inference for large-scale aerial building multi-view stereo

作者：Zhang S, Wei Z W, Xu W J, et al

编辑：东岸因为@一点人工一点智能

图2 EG-MVSNet框架。网络由两部分组成，分别获得边缘图、粗深度图和精深度图（红框中展示了各图的细节对比）。图中粗体部分为提出的模块，SFENet和代价体正则化网络的架构源自RED-Net。

网络流程描述：

（1）建筑物边缘特征提取：第一部分的目的是获取精确可靠的建筑边缘特征，以便实现特征融合。具体来说，为了有效编码边缘特征，我们提出了一个边缘感知网络(Edge-Sensitive Network, ESNet)。基于提取的边缘特征，可以通过可微的单映性变换构建边缘特征体 ，该特征体可以和标准代价体进行融合，从而在第二部分对深度估计隐式地三维引导正则化。为确保 ESNet 主要关注建筑边缘特征而非其他无关特征，我们利用类似于 UNet 的边缘预测分支（EPB）预测边缘图 ，并利用建筑边缘深度损失（BED-Loss）计算边缘图与生成的GT真实边缘图之间的损失，从而实现对于边缘提取分支的约束。

（2）建筑物边缘特征融合：第二部分旨在将建筑边缘特征融合至标准MVS框架，即分别从2D和3D两个维度对深度图预测进行引导。为了实现隐式的三维引导，设计体间自适应融合模块(Inter-volume Adaptive Fusion Module, IAFM)融合边缘特征体和标准代价体，从而得到边缘引导代价体，进一步通过3D-UNet来预测粗深度图。为了实现显式的2D引导，设计边缘深度细化模块（EDRM），利用边缘特征来细化粗糙深度图，得到细化的深度图。

2.2 边缘感知网络(ESNet)

为提取精确的建筑物边缘特征我们提出ESNet 。目前的边缘检测网络缺乏识别航空图像中建筑物边缘的能力，因此ESNet 的设计考虑到了建筑物和MVSNet的特点。具体来说，由于索贝尔算子在经典的边缘检测算法中被广泛用于获取线性信息，因此为了捕捉建筑物的刚性结构，我们将传统的索贝尔算子转化为动态的索贝尔核（DSK）,如图3所示。

图3 不同形式的索贝尔算子和可学习索贝尔核的图示。(a) 显示了四种不同形式的不可学习索贝尔算子。(b) 显示参数化后的可微分索贝尔核

基于上述动态的索贝尔核，可以将索贝尔算子转换为可学习的卷积核实现模型优化，提高模型对于线性特征的编码能力。线性特征是由水平线、垂直线和斜线组成的，如果仅使用单一方向的线性特征提取 DSK（如 0° DSK 或 90° DSK），提取的斜线特征往往不够充分。因此，我们将上述不同的 DSK 组合至同一层中，实现对任意方向的线性特征进行编码，有效捕捉了建筑物的边缘结构。

图4 ESNet图示。左图：ESNet 由三个级联 DSK卷积组成。右图：每个DSK卷积层的四路DSK

DSK 卷积层示意图如图4所示，使用四个不同方向的可微分DSK构建 DSK卷积层从而实现对于复杂建筑的边缘感知，进一步将每个分支提取的特征图串联起来，得到最终的建筑物边缘特征图。每个分支分别对应 0° DSK、45° DSK、90° DSK 和 135° DSK，每个分支使用不同类型的可微分 DSK 来提取线性特征。使用两个卷积层对特征进行去噪和降采样，融合各分支提取的特征之后，得到最终的建筑边缘特征图。DSK卷积层的公式定义如下：

其中，[·]表示连接操作，wbi 分别代表各分支的卷积权重。

2.3 边缘预测网络(EPB)

基于ESNet提取的边缘特征，我们提出了一个类似于UNet的边缘预测分支。通过对边缘特征进行回归，约束ESNet，使网络重点关注建筑物边缘特征，同时减少对其他无关特征的提取。考虑到边缘图预测类似于语义分割任务，且UNet在语义分割任务中已经取得了巨大成功，因此我们考虑在UNet的基础上设计我们的边缘图预测分支，对边缘特征进行回归以生成边缘图用于损失计算。EPB的整体架构如图2右上角所示。

具体来说，EPB使用2D UNet网络回归参考图像边缘特征，得到边缘图。EPB采用了编码器-解码器结构，可以有效地从宽广的感受野中收集邻近信息，而不会产生过多的内存和计算消耗。在下采样阶段，边缘特征被逐步下采样为对应于不同尺度的四个边缘中间特征图。随后，解码器对边缘中间特征图进行上采样，以恢复原始图像大小，获得边缘图。

EPB明确利用边缘特征，同时隐式地优化了深度图，有效减轻了深度粘连问题。这一预测过程提高了边缘特征的准确性和可靠性，而边缘特征在我们的整体框架中发挥着关键作用。此外，EPB提供可视化结果，对于验证方法的有效性并确保其达到预期目标至关重要。

2.4 体间自适应融合模块(IAFM)

IAFM 的设计目的是将第1部分提取的2D建筑边缘特征融入到MVS框架中，以此来指导3D代价体的正则化。因此需要将2D边缘特征转换为3D特征，以实现这种结合。MVSNet中的3D代价体是通过匹配不同深度、不同视图以及不同空间位置的2D特征点之间的相似性来构建的。受这一机制的启发，我们也采用了可微分单映性变换（differentiable homography warping）来构建3D边缘特征体，变换公式如下所示：

式中，T, K 分别代表相机的内外参数。通过上述操作，我们将2D边缘特征转换至3D域。然而，在构建的边缘特征体中，并非所有的边缘匹配信息都是有效的，我们的目标是在融合过程中只将有效信息有选择地融合到3D代价体中，而忽略无关信息。直接求和可能会导致边缘特征体中的无效代价信息影响到代价体中的有效代价信息，如表面代价信息。因此，如果能自适应地将有效的边缘代价信息整合到代价体中，就能减轻无效代价信息的影响。

受启发于注意力机制，我们提出了一种基于注意力机制的体间自适应融合模块（IFAM），通过利用注意力机制（由多个叠加卷积构建）来增强边缘代价信息，抑制非边缘代价信息，从而增强边缘特征体与代价体的融合。我们的IFAM 结构如图5所示。

图5 IFAM图示

具体来说，IFAM 通过应用多个带跳转连接的叠加卷积来计算边缘特征体的边缘增强体。同样，标准代价体的信息增强体也通过类似的机制获得。IFAM 通过元素相加的方式实现融合，在两个卷积层之后得到最终的边缘引导代价体。因此，IFAM可以定义成如下公式：

综上，IAFM即可通过使用边缘特征引导标准代价体，进而获得更精确、更有效的深度图。

2.5 边缘深度细化模块(EDRM)

然从概率体中得到深度图是一个有效的输出，但由于正则化过程中涉及到较大的感受野，可能会出现深度边界过度平滑或模糊等问题，这是语义分割和图像去噪任务中的一个常见问题。因此，可以在粗深度图中加入边缘特征，以获得更详细的边缘信息并明确深度边界，进而缓解上述问题。

受此启发，通过探索使用2D边缘特征完善初始粗深度图，进而增强建筑边缘深度估计结果并提高深度图的整体质量。因此提出边缘深度细化模块（EDRM），利用提取的参考边缘特征来优化深度图。

EDRM的结构见图2右下方。在该模块中，我们首先将粗深度图Dc与边缘特征Fe0连接起来，然后将通过应用于粗深度图的两个卷积层获得的边缘残差信息纳入其中。这一聚合过程能够整合边缘信息，并生成边缘增强深度图。最后，使用四个卷积层对边缘增强深度图进行过滤，生成细化深度图Dr。EDRM的公式可以定义为：