TricycleGAN：基于形状先验的无监督图像合成和分割

点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达

医学图像分割通常用于分离感兴趣的区域，如器官和病变。目前，深度学习是自动分割的最先进技术，但通常由于需要借助训练有素的临床医生手工分割的大型数据集进行监督训练而受到限制。半监督和无监督图像分割的目标是大大减少，甚至消除训练数据的需要，从而减少临床医生在训练分割模型时的负担。为此，作者引入了一种新的能够进行无监督和半监督图像分割的网络结构——TricycleGAN。该方法使用三个生成模型学习医学图像之间的翻译，并使用边缘图作为中间步骤分割地图。与其他基于生成网络的方法不同，TricycleGAN依赖于形状先验，而不是颜色和纹理先验。因此，它特别适合于医学成像的几个领域，如超声成像，通常使用的视觉线索可能是缺席的。作者在肾脏超声图像的临床数据集和基准ISIC 2018皮肤病变数据集上展示使用TricycleGAN的实验。

这里作者提出了一种新的图像分割方法，可以在无监督或半监督的情况下进行训练，从而大大减少，甚至消除了人工分割图像的需要。受训练过的临床医生在进行手工分割时使用roi形状及其内部结构的解剖学知识的方式的启发，作者依靠形状先验来生成合成的标记数据，这些数据可用于训练分割模型。形状先验是通过从ROI形状模板生成合成医学图像来构建的，这使得学习生成的分割-医学图像对之间的映射成为可能。

作者的新架构TricycleGAN由三个生成式对抗网络(GANs)组成，具体来说，是三个被连接在一起的CycleGANs[5]。每个CycleGAN学习三种映射中的一种:原始医学图像和来自这些医学图像的边缘地图之间的映射，这些医学图像中包含的感兴趣区域的边缘地图和分割地图之间的映射，以及分割地图和医学图像之间的映射。作为一个整体，TricycleGAN使用一个自适应的周期一致性损失来统一这三个子网络，从而通过学习生成真实图像的边缘分割三块来学习分割医学图像。将边缘映射包含到过程中提供了一个中间步骤，引入了方差和复杂性的来源，使TricycleGAN能够将简单的ROI模板转换为现实的医学图像，同时保留预测分割映射所需的必要形状信息。

示例显示了程序的每个主要步骤的输出，包括合成分割图的构建和各个生成器的输出。

肾脏分割面具比较三氯环根(蓝色)和临床医生提供的测试图像随机子集的地面真相标签(红色)。

作者提出TricycleGAN作为从未标记数据创建标记合成医学图像的方法，以实现无监督图像分割。TricycleGAN利用了最近在图像合成和生成建模方面的进展，利用了形状先验，可以用来构建感兴趣对象的模板。这是通过将最近开发的CycleGAN架构扩展到一个由三个生成器组成的网络来实现的，这些生成器在图像、边缘图和分割图之间进行转换。

TricycleGAN比其他不需要颜色和纹理特征的无监督方法表现得更好。例如，W-net在肾脏分割任务中表现不佳，因为它只识别超声锥本身，而不是肾脏。作者还表明，尽管总体性能有所下降，但作者的方法在大多数图像上的性能几乎与监督方法一样好。重要的是，作者展示了仅通过几个用于监督微调的训练示例(这里，只有10%的数据用于监督模型)，TricycleGAN的性能接近监督模型的水平。

论文链接：https://arxiv.org/pdf/2102.02690.pdf

每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。

- END -

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~