TorchVision v0.9 中引入的 ML 模型概述

TorchVision v0.9 已发布，其中包含许多新的机器学习模型和功能、速度改进和错误修复。在这篇博文中，我们快速概述了新引入的 ML 模型，并讨论了它们的关键特性和特性。

分类

• MobileNetV3 Large & Small：这两个分类模型针对移动用例进行了优化，并用作其他计算机视觉任务的主干。新的MobileNetV3 架构的实现支持原始论文中描述的 Large & Small 变体和深度乘数参数。我们在 ImageNet 上为大型和小型网络提供预训练权重，深度乘数为 1.0，分辨率为 224x224。我们之前的训练配方已经更新，可用于轻松地从头开始训练模型（感谢 Ross Wightman 对我们的一些训练配置的启发）。大型变体提供具有竞争力的准确性与 ResNet50 相比，CPU 速度提高了 6 倍以上，这意味着它非常适合速度很重要的应用程序。对于速度至关重要的应用程序，可以为了速度而牺牲更高的精度，并使用比 ResNet50 快 15 倍的 Small 变体。

• Quantized MobileNetV3 Large：MobilNetV3 Large的量化版本减少了 45% 的参数数量，比非量化版本快大约 2.5 倍，同时在准确性方面保持竞争力。它通过迭代非量化版本使用量化感知训练安装在 ImageNet 上，并且可以使用现有的参考脚本从头开始训练。

用法：

model = torchvision.models.mobilenet_v3_large(pretrained=True)
# model = torchvision.models.mobilenet_v3_small(pretrained=True)
# model = torchvision.models.quantization.mobilenet_v3_large(pretrained=True)
model.eval()
predictions = model(img)

物体检测

• Faster R-CNN MobileNetV3-Large FPN：将 MobileNetV3 Large 主干与 Faster R-CNN 检测器和特征金字塔网络相结合，可实现高度准确和快速的对象检测器。使用提供的参考脚本在 COCO 2017 上拟合预训练的权重，该模型在 CPU 上的速度比等效的 ResNet50 检测器快 5 倍，同时在准确性方面保持竞争力。

• Faster R-CNN MobileNetV3-Large 320 FPN：这是之前模型的迭代，使用降低的分辨率（min_size=320 像素）并牺牲精度以换取速度。它在 CPU 上比等效的 ResNet50 检测器快 25 倍，因此它适用于真实的移动用例。

用法：

model = torchvision.models.detection.fasterrcnn_mobilenet_v3_large_fpn(pretrained=True)
# model = torchvision.models.detection.fasterrcnn_mobilenet_v3_large_320_fpn(pretrained=True)
model.eval()
predictions = model(img)

语义分割

• DeepLabV3 with Dilated MobileNetV3 Large Backbone：MobileNetV3 Large Backbone的扩张版本与 DeepLabV3 相结合，帮助我们构建高度准确和快速的语义分割模型。使用我们的标准训练配方将预训练的权重安装在 COCO 2017 上。最终模型与 FCN ResNet50具有相同的精度，但在 CPU 上的速度提高了 8.5 倍，因此使其成为大多数应用程序的绝佳替代品。

• Lite R-ASPP with Dilated MobileNetV3 Large Backbone：我们引入了一个名为 Lite R-ASPP 的新分割头的实现，并将其与扩张的 MobileNetV3 Large Backbone 相结合，以构建一个非常快速的分割模型。与之前最轻量级的分割模型 FCN ResNet50 相比，新模型牺牲了一些精度以实现 15 倍的速度提升。

用法：

model = torchvision.models.segmentation.deeplabv3_mobilenet_v3_large(pretrained=True)
# model = torchvision.models.segmentation.lraspp_mobilenet_v3_large(pretrained=True)
model.eval()
predictions = model(img)