稀疏纹理也能匹配?一种基于Transformers的图像特征匹配器|CVPR2021

极市平台

共 1806字,需浏览 4分钟

 ·

2021-04-12 22:08

↑ 点击蓝字 关注极市平台

作者丨realcat
来源丨计算机视觉SLAM
编辑丨极市平台

极市导读

 

本文提出了一种新颖的用于局部图像特征匹配的方法,使用Transformers中的自我和交叉注意力层来获取两个图像的特征描述符,能够在低纹理区域产生密集匹配。 >>加入极市CV技术交流群,走在计算机视觉的最前沿

本文提出了一种新颖的用于局部图像特征匹配的方法。代替了传统的顺序执行图像特征检测,描述和匹配的步骤,本文提出首先在粗粒度上建立逐像素的密集匹配,然后在精粒度上完善精修匹配的算法。与使用cost volume搜索对应关系的稠密匹配方法相比,本文使用了Transformers中的自我和交叉注意力层(self and cross attention layers)来获取两个图像的特征描述符。Transformers提供的全局感受野使本文的方法能够在低纹理区域产生密集匹配(通常情况下在低纹理区域,特征检测器通常难以产生可重复的特征点)。在室内和室外数据集上进行的实验表明,LoFTR在很大程度上优于现有技术。
弱纹理条件与CVPR 2020的SuperGlue特征匹配对比:(上)LoFTR, (下)SuperGlue

本文作者来自浙大以及商汤科技,代码开源
论文链接:https://arxiv.org/abs/2104.00680
项目地址: https://zju3dv.github.io/loftr


框架


LoFTR由四个部分组成:
  1. 局部特征提取网络从图像以及中提取粗略特征图 和,以及精细的特征图 。
  2. 将粗略特征图展平为一维向量,并添加位置编码;然后,将其喂给Local Feature TRansformer (LoFTR) 模块进行处理,得到个self-attention 和 cross-attention层。
  3. 可微分匹配层用于匹配上述变换后的特征,最终得到置信矩阵。根据置信度阈值和相互邻近标准选择匹配项,得到粗略的匹配预测
  4. 对于每个选定的粗略预测,我们会从精细特征图中裁剪出具有大小为的局部窗口。粗匹配将在此局部窗口内进行细化为并达到亚像素匹配级别,作为最终的匹配预测。

实验

1. 弱纹理匹配效果

2. 与SuperGlue对比

3. 定量比较

HPatches上位姿解算AUC对比

室内ScanNet数据集上位姿解算AUC对比

室外MegaDepth数据集上位姿解算AUC对比

室外Aachen Day-Night数据集上视觉定位召回率对比

室内InLoc数据集上视觉定位召回率对比

4. 可视化

总结

本文提出了一种基于Transformers的无需特征提取的特征匹配器,提出的LoFTR利用self/cross attention层实现了将局部特征转换为与上下文和位置有关的量,这使得匹配器在稀疏纹理也能得到匹配。在实验部分,可以看到LoFTR能够分别在特征提取/位姿估计以及视觉定位任务中取得相当好的结果。

推荐阅读


搞懂 Vision Transformer 原理和代码,看这篇技术综述就够了(七)

2021-04-10

解决训练不稳定性,何恺明团队新作来了!自监督学习+Transformer=MoCoV3

2021-04-06

Transformer太大了,我要把它微调成RNN

2021-04-10


# CV技术社群邀请函 #

△长按添加极市小助手
添加极市小助手微信(ID : cvmart2)

备注:姓名-学校/公司-研究方向-城市(如:小极-北大-目标检测-深圳)


即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群


每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~


△点击卡片关注极市平台,获取最新CV干货

觉得有用麻烦给个在看啦~  
浏览 87
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报