关于GANs在医学图像领域的应用

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

1. GANs是一种无监督的训练方法，可以通过数据获取信息，其方式类似于人类学习图像特征的方式。

2. GANs通过发现数据潜在的高维分布，在特征提取方面有很好的表现。

本文综述了医学图像处理应用中提出的基于GAN的结构，包括去噪、重构、分割、检测、分类和图像合成。论文分布情况如图1所示。

本文最终得到了63篇论文，涵盖了各种GANs。在第3节中，介绍了用于医学图像应用的GAN及其子类的体系结构。第4节描述了GANs在医学图像处理应用中的不同贡献(去噪、重建、分割、检测、分类和合成)，第5节给出了将GANs用于医学图像处理的研究方法、挑战和未来方向。

监督深度学习是目前许多计算机视觉和医学图像分析任务中最先进的技术。然而，其主要限制因素，是它依赖于大量带注释的训练数据。在医学领域，这一点尤为重要，因为医学图像的获取和标注需要专家，导致标签训练数据严重缺乏。

另一个机器学习的问题是，对于一般任务(如超分辨率、分割或图像到图像转换)，必须手工设计相似性度量。传统的相似性包含像素级的损失，如L1和L2距离，两者都会模糊结果，缺乏上下文的整合。GANs的对抗式训练通过学习丰富的相似性度量来区分真假数据从理论上消除了对显式像素级目标函数建模的需要。这一特性最近被用于改进医学图像分割、图像增强(如去噪)以及使用基于GANs的图像到图像转换技术解决医学图像domain shift的问题。

domain shift现象实际上是目前限制深度学习模型泛化能力的另一个主要问题。假设训练数据(training data)和推理数据（inference data）来自相同的分布，因此训练的模型也应该在不可见的数据(unseen data)上正常工作，这种假设往往不成立，并限制了模型的适用性。Domain Adaptation是指使模型对这种domain shift具有鲁棒性，而对抗性训练具有很大的潜力。

GAN框架由生成器(G)、鉴别器(D)以及真实数据X的训练数据集组成。G生成器,是一个多层网络参数θG,旨在找到一种映射x = G(z,θG)。通过映射,G生成假数据。另一方面,鉴别器D(x;θD)旨在把假样本和真实数据区分开来。

GAN的主要优点是通过关注数据的潜在概率密度，找到模型的数据分布。虽然GANs与CNNs相比具有这样的内在优势，但也存在一些挑战:

• 崩溃问题（mode collapse）:当G崩溃时，将所有不同的输入映射到相同的数据;

• 不稳定性:导致相同输入产生不同的输出。这些现象的主要原因与优化过程中梯度消失有关。

虽然批处理归一化(batch normalization)是解决GAN不稳定性的一种方法，但它不足以使GAN的性能达到最优稳定性。因此，已经引入了许多GANs的子类来解决这些缺陷。部分框架如图所示：

1、去噪

由于过度辐射危害健康，降低辐射剂量已被作为一种有效的解决方案。然而，剂量减少会增加医学图像的噪声水平，这会导致一些信息的丢失。目前基于CNN的去噪方法的主要问题是在优化中使用均方误差,导致预测图像模糊，无法提供常规剂量图像的纹理质量。GAN可以通过检测噪声图像和去噪图像之间的映射来消除这个问题，并生成图像。

表1总结了主要的基于GAN的去噪方法。通过控制loss function来考虑更多的纹理特征，实现了良好的医学图像降噪性能。然而，寻找一个快速、准确、更稳定的体系结构是未来工作的一个开放方向。

2、重建

对丢失的图像数据进行重建，可以在诊断过程中起到有效的作用。由于GAN在数据合成方面的良好性能，使其具有相当大的潜力。在一些医学影像中，如磁共振成像(MRI)，需要较长的获取时间，患者的无意识(即由于呼吸)和自主(即由于不舒适的情况)运动是非常常见的。这些运动导致图像中器官的一些关键信息丢失。基于GAN的方法则试图在不完全(零填充)和完全采样的MR图像之间找到映射。

表2和表3总结了一些GANs的特性和性能。在医学图像的重建中，GANs似乎可以提供很好的性能，在损失函数中加入一些操作，突出纹理细节和特殊特征。

3、分割

医学图像处理中物体和器官的标注在异常检测和形状识别中起着重要作用。此外，分割被定义为许多其他任务的预处理步骤，如检测和分类。因此，自动分割引起了大量研究者的关注，近几十年来，自动分割是医学图像处理中应用深度学习最常见的课题。

一般来说，基于CNN的分割方法利用像素丢失来学习像素之间的局部和全局关系是不够的。所以需要统计建模方法，如条件随机场或统计形状模型来修正他们的结果。虽然已经提出了一些基于patch的CNN方法来解决这个问题，但是这些方法需要在准确性和patch大小之间进行权衡。人们又提出了一种基于U-Net的基于加权交叉熵损失的体系结构，但这些方法都面临着weights优化问题。所以除了加权损失外，还需要一般性损失来解决这个问题。GANs在医学图像分割主要在 大脑,胸部,眼睛,腹部, 显微图像, 心动, 脊柱。表5至10总结了基于GAN的分割方法。从已知的DNN架构来看，U-Net和ResNet 由于提供通用的识别功能，是最常用的网络，可用作基于GAN的分段模型中的生成器。

大脑

胸部

胸部x线图像分割的主要障碍是图像质量差、局部伪影和心肺重叠。Dai等人提出了一种基于GAN的解决方案(SCAN)，增强分割的全局一致性，提取心脏和左/右肺的轮廓。这项工作的主要贡献是使用一个完全连接的网络与VGG下采样路径使用更少的特征映射。

眼睛

在视网膜血管分割中，许多基于CNN的方法甚至比人类专家的表现更好。Son等人将CNN替换为遵循生成器的U-Net架构的GAN。在两个数据集上的实验结果表明，利用传统的鉴别器可以获得最佳的性能，甚至优于人类专家的注释。

Lahiri et al.提出了一种基于DC-GAN的分割方法，将RoI patch从背景中分割出来。类似的CNN需要大量的训练数据才能很好地表现，而提出的结构使用九分之一的训练数据就可以达到类似的性能。

Shankaranarayana等人提出利用cGAN网络对二维彩色眼底图像进行分割。生成器是一个由对抗损耗和L1损耗构成的网络。

腹部

腹部MRI图像中脾脏大小和形状的不同，导致了CNN深度分割方法的错误标记。GANs模型可以解决这一问题。

显微图像

脊柱

4、检测

在医学诊断中，许多疾病标记物被称为异常。然而，来自图像的异常的计算检测需要大量的监督训练数据。即使有如此庞大的数据，也无法保证学习型网络能够检测到看不见的情况。

与先前的应用相比，GAN在异常检测中提出的论文具有更多的结构复杂性，因为它们受益于GAN的不同方面。事实上，鉴别器的作用在实践中更为突出。此外，提取的map定义了识别健康和异常图像的潜在方面，以更感性的方式使用。

5、分类

由于在心脏超声（US）成像期间发生心脏和呼吸运动，所得到的图像可能显示不完整的信息，如心脏的基底和心尖切片，这是识别左心室（LV）解剖结构的关键特征。因此，需要一个自动系统来完成缺失的部分或丢弃信息不完整的图像，这可能会误导分类过程。

张等人提出半耦合GAN（SCGAN）来分类有缺失基底切片的有用心脏图像，如下图所示。结果表明，与CNN方法相比，该方法具有更高的精度，降低了计算成本。此外，SCGAN还提高了对抗训练的稳健性。

6、合成

最初，GAN被提议作为完全无监督的生成框架，其目标是在训练数据分布之后将随机噪声映射到真实的图像。利用conditional GAN，成功地转变为监督生成框架。本文将原始GAN框架称为无条件或无监督GAN，与conditional GAN相反。要强调的是，区分这些不同的概念对文献进行相应的分类是非常重要的。

两种框架的属性被利用来合成某些类型的医学图像，这些图像既可以来自单独的噪声，也可以来自先前的知识（参见条件图像合成），例如元数据甚至是用于映射的图像数据。从一种形态到另一种形态的图像。

1、GAN在医疗领域的优势

基于GAN的深度生成模型能够产生逼真的图像，在医疗图像独有的两个挑战中，Gan具有得天独厚的优势：

• 标注的稀缺性：通常，标注在医学图像中too expensive且难以获得。针对此类问题的基于监督学习的深度神经网络具有挑战性。正如合成和转化中的多项研究所证明的那样，GAN可以利用这两个即将到来的框架

• 不成对的数据：找到正确的数据（按像素或按区域）是极具挑战性的。GAN框架十分强大，例如cycle GAN从不成对的训练图像中学习独特的模式并产生逼真的输出。

2、缺点

本文确定当前形式的GAN中可能阻碍其在医学界发展的三个主要缺点：

• 合成数据的可信度：基本网络 - 发生器和鉴别器仍然是深度神经网络，其机制尚未得到很好的研究。在医学图像中，强度通常与某些含义相关，例如，可以基于CT数据的HU大致分类组织类型。目前GAN重建中缺少这种关联和映射，这一缺点足以让临床医生不信任GAN合成的图像。

• 不稳定的训练：许多文献指出GAN训练的数值是不稳定的。这会导致mode cllaspe等情况。state of the art的工作在真实图像的GAN训练中着重于解决这些数值不稳定问题。然而，在医学成像中，图像模式本身不清晰，如何识别这样的问题尚不清楚。

• 评估指标：评估reconstruction结果的最佳方法仍不清楚。在医学成像中，研究人员主要依靠传统指标（如PSNR或MSE）来评估GAN重建质量。然而这种指标的缺点是人们选择GAN的主要原因。

3、未来展望

本文认为GAN需要解决上面提到的重大缺陷，然后才能成为医疗保健领域值得信赖的技术。

还需要解决训练不稳定性问题，这意味着需要严格的实验来理解GAN在医学成像环境中的收敛。关于度量的问题非常棘手，临床医生理解临床医师在CAD中合成GAN图像的性能是必要的第一步。简而言之GAN在未来几年内开辟了许多可能的研究问题。正确理解和回答那些是在真实临床情景中成功部署GAN的关键。

参考文献：https://arxiv.org/abs/1809.06222

下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~