【论文解读】通过知识蒸馏促进轻量级深度估计
共 1458字,需浏览 3分钟
·
2021-06-08 10:59
摘要
采用大型复杂的神经网络实现深度估计的高级性能。虽然性能仍在不断提高,但作者认为深度估计必须是准确和高效的。这是现实应用的初步要求。但是,快速深度估计会在模型容量和精度之间产生折衷,从而降低模型的性能。在这篇论文中,作者尝试用一个轻量级的网络来实现高度精确的深度估计。为此,作者首先介绍了一种可以实时估计深度图的紧凑网络。然后,作者在技术上展示了两种补充和必要的策略,以提高轻量级网络的性能。由于真实场景的数量是无限的,首先是辅助数据的使用,增加了训练数据的多样性。二是运用知识精馏进一步提升绩效。通过广泛和严格的实验,作者表明,作者的方法在推理精度,计算效率和泛化方面优于以往的轻量级方法。与只有1%参数的最先进的方法相比,作者可以实现相当的性能,另一方面,作者的方法比其他轻量级方法的性能要好得多。
![](https://filescdn.proginn.com/e9174c61732dbcae61e691769b397d8f/61c59eae7b23136a2aed1355293849d1.webp)
作者通过实验证明:
本文介绍的光网络可以实时估计深度图。它在推理精度、计算效率和泛化性能方面优于基准方法。
对于深度估计,有效的知识提炼的关键是采用良好的误差度量。作者证明了应用几何约束有助于更好的知识转移。
这两种策略,即使用辅助数据和知识精馏以一种互补的方式工作。它们的结合给作者带来了一个高精度和计算效率高的深度估计网络。
![](https://filescdn.proginn.com/98ac749fc476e9b487d5faaa48fc8cc5/1038dabb51a76e433fa7d76437b07b53.webp)
框架结构
提出的网络图。其核心组件是四个特征融合与压缩层(FFC)。FFC层由一个信道的关注层和一个卷积层组成,这样它可以自动将更多的权值归到更重要的特征上,然后将它们融合到少量的信道中。
实验结果
(a)有无额外训练数据的教师和学生网的表现。注意,学员网是经过培训而没有知识的提炼的。(b)学生网与知识精馏的表现。由此可见,即使给定相同的教师网,作者也可以通过额外的训练数据获得显著的准确性提高。
对不同轻型深度估算方法进行定性比较。
基于TUM数据集的5个序列预测点云的定性比较。
结论
本文从以下三个方面对单目深度估计进行了全面回顾:1)推断精度,2)计算效率,3)概化性。作者指出主要有两大挑战。首先是模型准确性和模型容量之间的权衡,其次是对未知场景的泛化性能较差。作者的方法首先引入了一个紧凑的网络,可以实时估计深度地图。然后,作者的实证和定量表明,使用辅助训练数据是必要的改进轻量级网络。场景多样性的增加不仅可以提高网络的准确性和泛化程度,而且是后续知识提炼过程中所需要的。作者运用知识蒸馏技术,利用辅助数据从训练有素的教师网中提升出轻量级网。作者利用额外的几何约束(梯度和法线)来精确测量老师和学生之间的估计的差异。因此,作者的方法与在只有1%参数的大型网络上建立的方法相比具有相当的性能,并在很大程度上优于其他轻量级方法。在未来,作者将进一步改进作者的方法与更多的现实场景,以发展一个更通用的网络深度估计。
论文链接:https://arxiv.org/pdf/2105.06143.pdf
每日坚持论文分享不易,如果喜欢我们的内容,希望可以推荐或者转发给周围的同学。
- END -
往期精彩回顾
本站qq群851320808,加入微信群请扫码: