医学影像属于计算机视觉的一个分支，但医学影像的深度学习具有自己的独特性。例如医学影像的采样方式决定了图像常常是各向异性的，而且噪音和畸变产生的方式也与自然图像不同，因此预处理过程和其他的3D图像不同；医学影像可能是单通道多模态的高分辨率的灰度图像（例如MRI），适应的网络也会有所不同。近年科研人员提出了较多的针对医学影像图像处理和深度学习的工具包和框架，在此整理汇总。

图像操作类

医学影像往往需要操作的图像种类较多，类似于nii图像，dicom图像等，传统的工具为SimpleITK ，NiBabel ，目前也有很多集成的工具，便于深度学习模型的使用和调优。

TORCHIO（强烈推荐）

截止2021.10.06日，stars:1.1k

https://github.com/fepegar/torchio

TorchIO 是一个 Python 工具包包，用于在用PyTorch编写的深度学习应用程序中高效读取、预处理、采样、增强和写入 3D 医学图像，包括用于数据增强和预处理的强度和空间变换。变换包括典型的计算机视觉操作，例如随机仿射变换，以及特定领域的操作，例如模拟由于MRI 磁场不均匀性或k空间运动伪影引起的不同强度的伪影。

batchgenerator

截止2021.10.06日，stars:745

https://github.com/MIC-DKFZ/batchgenerators

batchgenerators 是一个用于数据增强的 Python 包。包含空间增强，颜色增强，噪音增强，裁剪。（德国癌症研究中心）

medpy

截止2021.10.06日，stars:367

https://github.com/loli/medpy

MedPy 是一个图像处理库和针对医学（即高维）图像处理的脚本集合。

MITK

截止2021.10.06日，stars:422

https://github.com/MITK/MITK

医学成像交互工具包（MITK）是用于开发交互式医学图像处理软件的免费开源软件系统。MITK将Insight工具包（ITK）和可视化工具包（VTK）与应用程序框架结合在一起。

集成框架（基于pytorch）

MONAI（推荐）

截止2021.10.06日，stars:2.3k
https://github.com/Project-MONAI/MONAI

特性：灵活的多维医学影像数据预处理；易于集成到现有工作流程中的组合式和可移植 API；针对网络、损失、评估指标等的特定领域实现；针对不同用户专业知识的可定制设计；多 GPU 数据并行支持。框架较为完整，目前还保持活跃更新，具有较新的模型。

nnunet（推荐）

截止2021.10.06日，stars:2k

https://github.com/MIC-DKFZ/nnUNet

nnU-Net完全自动执行整个分割过程，包括数据预处理、模型配置、模型训练、后处理到集成的整个过程，而不需要人为干预。此外，训练好的模型还可以应用到测试集中进行推理。（德国癌症研究中心，今年还有一个nnDetection的工作，也和nnunet工作思路类似）

medicaldetectiontoolkit

截止2021.10.06日，stars:1k

https://github.com/MIC-DKFZ/medicaldetectiontoolkit

medicaldetectiontoolkit基于pytorch的包含流行的目标检测器2D + 3D实现，例如Mask R-CNN，Retina Net，Retina U-Net，专注于提供处理医学图像的训练和推理框架。（和nnUnet，batchgenerator都为德国癌症中心的工具）

MedicalNet

截止2021.10.06日，stars:1.2k https://github.com/Tencent/MedicalNet

腾讯推出的3D预训练模型，MedicalNet项目提供了一系列3D-ResNet预训练模型和相关代码。（目前更新较少）

medicaltorch

截止2021.10.06日，stars:747 https://github.com/perone/medicaltorch A medical imaging framework for Pytorch

3DUnetCNN

截止2021.10.06日，stars:1.4k https://github.com/ellisdg/3DUnetCNN

设计了 3DUnetCNN，以便轻松地将各种深度学习模型的训练和应用应用于医学影像数据。上面的链接提供了有关如何将这个项目与来自各种 MICCAI 挑战的数据一起使用的示例/教程。

Attention-Gated-Networks

截止2021.10.06日，stars:1.4k https://github.com/ozan-oktay/Attention-Gated-Networks

基于注意力卷积神经网络的的医学图像分类与分割。（最新更新较旧）

集成框架（基于tensorflow）

NiftyNet

https://github.com/NifTK/NiftyNet

截止2021.10.06，stars:1.3k

基于tensorflow用于医学图像分析和图像指导治疗研究的开源卷积神经网络平台,特点是易于定制的网络组件接口、共享网络和预先训练的模型、支持2-D，2.5-D，3-D，4-D输入、多GPU支持的高效训练、常用的网络实现（HighRes3DNet，3D U-net，V-net，DeepMedic）、用于医学图像分割的综合评估指标。（目前不再积极维护，项目专项维护MONAI）

deepmedic

https://github.com/deepmedic/deepmedic

截止2021.10.06，stars:865

基于tensorflow用于3D医学扫描分割的高效多尺度3D卷积神经网络。

DLTK

https://github.com/DLTK/DLTK

截止2021.10.06日，stars:1.3k

基于tensorflow的用于医学图像分析的深度学习工具包。（3年前最后更新）

suke写在最后面

和很多数据集一样，有些框架的生命周期从它被发布之后就结束了。近几年有不少框架是有组织的在进行更新，这些框架往往更具有持久的生命力，例如torchio和MONAI，希望他们能发展的更好。

参考资料：

https://zhuanlan.zhihu.com/p/113202488

如果大家有更好的推荐，欢迎留言推荐。

‍

努力分享优质的计算机视觉相关内容，欢迎关注：

交流群

欢迎加入公众号读者群一起和同行交流，目前有美颜、三维视觉、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群

个人微信（如果没有备注不拉群！）
请注明：地区+学校/企业+研究方向+昵称



下载1：何恺明顶会分享

在「AI算法与图像处理」公众号后台回复：何恺明，即可下载。总共有6份PDF，涉及 ResNet、Mask RCNN等经典工作的总结分析

下载2：终身受益的编程指南：Google编程风格指南

在「AI算法与图像处理」公众号后台回复：c++，即可下载。历经十年考验，最权威的编程规范！


下载3 CVPR2021

在「AI算法与图像处理」公众号后台回复：CVPR，即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文

常用医学影像开源Python包汇总