图像匹配还用SIFT?来看看 CVPR 2021 比赛中的冠军方案
AI算法与图像处理
共 4662字,需浏览 10分钟
· 2021-08-10
本文转自旷视研究院。
滑动查看更多图片
一、比赛介绍
![](https://filescdn.proginn.com/8c5910aaa39eee43ecd9f6a00ab3cf4b/cb308d77cfee03773244ece8e7577162.webp)
![](https://filescdn.proginn.com/72a91b01db48f68ca0d4bfc386793762/2aa020ec125a2c11d8ca92af40142aab.webp)
![](https://filescdn.proginn.com/956fa246bef1b60581de18794db2d782/53493b089fc8b2b7a2d7fc509043985b.webp)
Stereo:通过两张图片进行匹配,然后解算F矩阵,求解实际的位姿误差。 Multiview:选取少部分图片组成一个bags,通过bags进行建图,通过3d模型求解不同图片之间的位姿误差。
![](https://filescdn.proginn.com/b9366176ee1c24b82f26674e466adc18/cf18f007c3acdb3e0e04d21b6e09c7ea.webp)
![](https://filescdn.proginn.com/2b06e6298c0aaa3223512cd58454ce97/49a2a6362a34ba89652b0b941fb2fa2d.webp)
内点数量(越高越好) 匹配成功率,即匹配内点数量/所有提供的匹配对(越高越好) 负匹配对数量,当两张图片没有共视区域时,匹配对应该越少越好
二、比赛方案
![](https://filescdn.proginn.com/738144b3c54844a8129f7f79c88ac049/f8510cc08a8abec4928dbdaae50b6016.webp)
![](https://filescdn.proginn.com/6394702281e528b0ed30dfe26843cfab/1ea6ff95a9c7af778c66260b79afea53.webp)
![](https://filescdn.proginn.com/a2191ec01efbc3020091f053d0e118a6/081da6f0851fe3effd6658ae2015f926.webp)
![](https://filescdn.proginn.com/e5cde07652b59c14fa1929e10af746b8/b00fa67aac6e72f65c1eb59d1bca5bab.webp)
观察验证集和测试集之间是否存在gap 通过统计各个数据集之间的长宽,来确定resize的大小
![](https://filescdn.proginn.com/8760f14fcd320685a19e42c11d90ca8a/cab5efdf6732d7a70573be3c42f94627.webp)
![](https://filescdn.proginn.com/109e3e3376c72a952749cd926ab88d71/3155ae3f3dee58949676f0ab9790f1c3.webp)
![](https://filescdn.proginn.com/3a8bf70e9438af9593c7b6fa7d988569/b5c787571ccb7e9afdad8be0eb78f658.webp)
![](https://filescdn.proginn.com/092769fbb045aeae8968812dad7549d3/4bed3d9c07fbb812a0f2849e2dbfb212.webp)
一个是由于分割网络的精确度不高,并不能很好的区分建筑物和天空连接区域,就会存在把建筑物边缘轻微破坏的情况,这样不利于匹配。所以我们 mask 动态物体之后,对 mask 区域做了腐蚀处理,这样可以把建筑物的边缘细节保留下来。 另外一个问题则是分割网络算法针对真人和雕塑的泛化能力不是很好,当 mask 行人的时候,雕塑也会被 mask。而部分场景例如林肯数据集,雕塑上面的特征点对匹配结果比较重要。针对这个情况,我们训练了一个分类网络用来区分雕塑和行人,这样既可以去掉行人又可以保留雕塑。
![](https://filescdn.proginn.com/8c9d4e77064287f923f441e295189dcd/5b1a4873db861c5cd3726cf3f735bf39.webp)
![](https://filescdn.proginn.com/a8e2e89c918396a4acb44b9ef89d52bc/b108447a0720a4664a52ec6c3168a3d8.webp)
![](https://filescdn.proginn.com/ac387d5d18721c9c1483de268d51cc91/403e343c4eb67c7e741430666bbc64b8.webp)
滑动查看更多图片
尺度差距比较大 大角度旋转
![](https://filescdn.proginn.com/8b0d504e41903f7f495476c1bffd5e32/40b0a58d6411547d9fe56f951bbe502b.webp)
滑动查看更多图片
![](https://filescdn.proginn.com/04475f3ea9a038cb0b88469c37a1019b/e769bb8af2f6e376ad75cd4607c0e7fe.webp)
![](https://filescdn.proginn.com/b566e60a16cfada2a290b068d37bc179/970b903af19c303692c40a65aaaed6a3.webp)
![](https://filescdn.proginn.com/52dfae7fde7ac205768944a79242a31e/dc84c7c7e8fd26cb6c6f09ee4ef73349.webp)
三、方案应用:AR 导航
四、未来展望
在训练的时候可以加上强化学习,重新训练整个 pipeline。 增强 DISK 的泛化能力,使用更多的数据集进行训练。 使用 Refinements 网络,进行对特征点的位置 refine。
五、参考文献
END
评论