巧解图像处理经典难题之图像配准
共 7878字,需浏览 16分钟
·
2021-08-28 19:49
点击下方卡片,关注“新机器视觉”公众号
视觉/图像重磅干货,第一时间送达
【导读】图像配准与相关[1]是图像处理研究领域中的一个典型问题和技术难点,其目的在于比较或融合针对同一对象在不同条件下获取的图像,例如图像会来自不同的采集设备,取自不同的时间,不同的拍摄视角等等,有时也需要用到针对不同对象的图像配准问题。
具体地说,对于一组图像数据集中的两幅图像,通过寻找一种空间变换把一幅图像(浮动图像,moving image)映射到另一幅图像(参考图像,fixed image)上,使得两图中对应于空间同一位置的点一一对应起来,从而达到信息融合的目的。
图像配准常为图像融合的一个预处理步骤。经过精确图像配准的图像对,通常可获得更好的融合效果。
一、定义
图像配准是使用某种算法,基于某种评估标准,将一副或多副图片(局部)最优映射到目标图片上的方法。
根据不同配准方法,不同评判标准和不同图片类型,有不同类型的图像配准方法。
(详见“问题分类”部分)
二、问题背景和应用
图像配准在计算机视觉、医学图像处理、材料力学、遥感等领域有广泛应用。
由于可应用图像配准的图像类型众多,暂时无法开发出可满足所有用途的通用优化方法。
图像配准在医学图像处理与分析中有众多具有实用价值的应用。随着医学成像设备的进步,对于同一患者,可以采集含有准确解剖信息的图像诸如CT,MRI;同时,也可以采集到含有功能信息的图像诸如SPECT。然而,通过观察不同的图像进行诊断需要凭着空间想象和医生的主观经验。采用正确的图像配准方法则可以将多种多样的信息准确地融合到同一图像中,使医生更方便更精确地从各个角度观察病灶和结构。同时,通过对不同时刻采集的动态图像的配准,可以定量分析病灶和器官的变化情况,使得医疗诊断、制定手术计划、放射治疗计划更准确可靠。
在计算机视觉领域里,配准方法可被用来进行视频分析、模式识别,自动跟踪对象的运动变化。
在材料力学方面,配准通常用来研究力学性质,称为数字图像相关。通过对不同相机不同传感器采集到的信息(形状,温度等)进行融合比较,可以计算得到例如应变场、温度场等数值。通过带入理论模型可以进行参数反向优化等。
三、相关关键词
相近词:
image registration (mapping matching, co-registration alignment, fusion)
注:mapping 侧重于空间映射,fusion为图像融合,不仅包括配准还包括数据集成后的图像显示。
相近领域:
图像融合,图像拼接,图像分割,超分辨率,图配准,点云配准,SLAM
使用方法:
相似性测度,配准精度,配准算法,小波变换,互信息,仿射变换,特征提取,特征点匹配,相位相关,角点检测,边缘检测,旋转角度,相位相关,遗传算法,深度学习
应用领域:
医学图像,遥感图像,天气预测,地理信息系统,超分辨率,运动追踪,自动控制
四、问题分类
图像配准分类标准不唯一,下面两图是某位研究者[2]的分类结果(2014年)。
本人的分类结果见下图
基于问题特点的分类
1.Registration Quality: 配准性质
根据数据或特征确定的配准类型。
如自然图像配准,医学图像配准,遥感图像配准等。
2.图像采集方式
①Multi-view Analysis: 多视图配准
同一物体在同一场景不同视角下的图像配准。
从多个视角捕获相似对象或场景的图像,以便获得扫描对象或场景的更好表示。如使用图像拼接,从2D图像重建3D模型等。
②Multi-temporal Analysis: 多时相配准
同一物体在同一场景同视角不同时间的图像配准。如运动追踪,肿瘤生长情况跟踪等。
③Multi-modal Analysis: 多模态配准
多模配准常见于医学图像领域,故以多模医学图像配准为例。
由于医学成像设备可以提供关于患者不同信息不同形式的图像(计算机断层扫描CT,核磁共振MRI,正电子发射断层成像PET,功能核磁共振fMRI等)。
基于单种或多种模态图像的配准,可划分为单模态(Single-modality)和多模态(Multi-modality)。
Figure 1 MEG-MRI多模态配准
3. Interaction: 配准流程互动性
手动,半自动或自动
4. Dimensionality: 图像空间维数
若仅考虑空间维数,可以划分为2D/2D, 2D/3D, 3D/3D等。若考虑时间序列因素,还存在对在不同时刻提取的两幅图像进行配准的问题。
5. Domain of transformation: 图像转换区域(全局/局部配准)
6. Nature of Registration basis: 配准基准的性质
根据算法所基于的特征及相似性测度。
①基于内部特征的配准。
内部特征指的是从图像内部本身提取的信息。
基于特征(feature-based):在几何上有特别意义的可以定位的特征点集(比如不连续点,图形的转折点,线交叉点等),或者用分割的方法提取出感兴趣的部分的轮廓(曲线或曲面),以作为用来比较的特征空间。在医学图像上可以是具有解剖意义的点。
基于像素值(intensity-based):利用整幅图像的像素或体素来构成特征空间。根据像素值的统计信息来计算相似性测度又可划分为最小二乘法,傅里叶法,互相关法,互信息法等等。
②基于外部特征的配准。
在医学图像中,通过在患者身上固定标记物或向体内注入显影物质以获得在图像上的确定的标记点,称为外部特征点。
③基于不同装置成像坐标的配准
7. Subject of Registration: 配准主体
以医学图像配准为例,可分为 Intra-subject (图像来自于同一病人),Inter-subjective (来自不同的病人)和 Atlas (病人数据和图谱的配准)三种。
Object of Registration: 配准物体(头、乳腺、胸、眼、腹、膝盖 等…)
8. Type of transformation: 变换性质
根据用于将浮动图像空间与参考图像空间相关联的变换模型对图像配准算法进行分类。对图像进行空间变换可以分为刚体变换(rigid)和非刚体变换(non- rigid, deformable)。
第一类变换模型是线性变换,包括旋转,缩放,平移和其他仿射变换。线性变换本质上是全局的,因此,它们无法模拟图像之间的局部几何差异。
第二类变换模型允许“弹性”或“非刚性”变换。这些变换能够局部地扭曲浮动图像使其与参考图像对准。非刚性变换包括径向基函数(薄板或曲面样条函数,多重二次曲面函数和紧支撑变换),物理连续模型(粘性流体)和大变形模型(微分同胚)。
变换模型通常是参数化的例如,可以通过单个参数(变换向量)来描述整个图像的变换。这些模型称为参数模型。另一方面,非参数模型不遵循任何参数化,允许每个图像元素任意移位。
9. Parameters of Registration: 算法参数
当比较特征采用特征点集的形式时,可以通过联立方程组来找到变换的解。
但一般情况下,配准问题都会转化为求解相似性测度最优值的问题,在计算方法中通常需要采用合适的迭代优化算法,诸如梯度下降法、牛顿法、Powell法、遗传算法等。
根据算法本质的分类
图像配准最本质的分类是:
1.基于灰度的图像配准;2.基于特征的图像配准。
具体的图像配准算法是基于这两点的混合或者变体的算法。
五、图像配准通用流程
通常,图像配准技术包括四个方面:变换模型、特征空间、相似性测度、搜索空间和搜索策略。依据这四个特性,图像配准的步骤一般可分为以下五个步骤:
根据实际应用场合选取适当的变换模型; 选取合适的特征空间,基于灰度或基于特征; 根据变换模型的参数配置以及所选用的特征,确定参数可能变化的范围,并选用最优的搜索策略; 应用相似性测度在搜索空间中按照优化准则进行搜索,寻找最大相关点,从而求解出变换模型中的未知参数; 将待配准图像按照变换模型对应到参考图像中,实现图像间的匹配。
图像配准过程的一项重要任务。根据问题的复杂性,通常分为手动或自动检测,但通常优先选择自动特征检测。
对浮动图像使用映射进行图像变换来配准。
六、图像配准质量评估标准(performance measures)[3][4]
七、前人工作
《图像配准技术及其MATLAB编程实现》 Image registration methods:A survey Image Registration Techniques:A Survey Deformable Medical Image Registration: A Survey
稀疏跨域对象映射 SIGGRAPH 2018:Neural Best-Buddies: Sparse Cross-Domain(https://kfiraberman.github.io/neural_best_buddies/)
Image registration methods:A survey Image Registration Techniques:A Survey Slice-to-volume medical image registration:A survey A Survey on Deep Learning in Medical Image Analysis 医学图像配准技术_罗述谦
Deep Learning in Medical Image Registration: A Survey A Survey on Deep Learning in Medical Image Analysis Deep Learning in Medical Image Analysis A novel relational regularization feature selection method for joint regression and classification in AD diagnosis A review of substitute CT generation for MRI-only radiation therapy Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation The challenge of mapping the human connectome based on diffusion tractography
八、相关开源工具
Material Presented at ITK Tutorials MeVisLab
Image Registration techniques using MATLAB Registering Multimodal MRI Images using Matlab. elastix: a toolbox for rigid and nonrigid registration of images. niftyreg: a toolbox for doing near real-time robust rigid, affine (using block matching) and non-rigid image registration (using a refactored version of the free form deformation algorithm).
VoxelMorph: A Learning Framework for Deformable Medical Image Registration Quicksilver: Fast Predictive Image Registration - a Deep Learning Approach AirLab: Autograd Image Registration Laboratory
Papers With Code : Image Registration
九、数据集
MICCAI 2018、2019 MR和超声配准:curious2019 - Grand Challenge
ISBI 2019病理图像配准:ANHIR - Grand Challenge
arxiv: 1904.10535 Automatic_Non-rigid_Histological_Registration_challenge
参考
wiki 图像配准 https://www.wikiwand.com/zh/%E5%9B%BE%E5%83%8F%E9%85%8D%E5%87%86 图像配准简介 https://blog.csdn.net/carson2005/article/details/38757379 ab Image Registration Techniques A Survey 28 Nov. 2017. 1712.07540 医学图像配准技术_罗述谦 DICE系数 https://www.wikiwand.com/zh/Dice%E7%B3%BB%E6%95%B0 Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions https://arxiv.org/pdf/1902.05655.pdf https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey
https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey
—版权声明—
仅用于学术分享,版权属于原作者。
若有侵权,请联系微信号:yiyang-sy 删除或修改!