针对外分布样本检测的置信度校准分类器

点击下方卡片，关注“新机器视觉”公众号

视觉/图像重磅干货，第一时间送达

来源：AI锤炼

1. 论文信息

• Paper: [ICLR 2018] Training Confidence-calibrated Classifiers for Detecting Out-of-distribution Samples
• Link: https://arxiv.org/abs/1711.09325

2. 背景梳理

检测一个测试样本来自内分布（分类器的训练分布）还是外分布与其他机器学习应用有很大的不同。现在的网络对预测通常过于自信，也就是说无法分清内分布和外分布。本文在原始损失如交叉熵上加了额外两项，第一个强迫分类器对外分布样本降低置信度，第二个是为第一项生成更有效的训练样本。本文的方法同时训练分类网络和外分布的生成网络，并且在几个图像数据集上证明了它的有效性。

3. 主要贡献

1.提出了一个新的损失函数，叫信心损失（confidence loss），其关键思想是进一步减少外分布样本的预测分布和均匀分布的KL散度，以便对外分布样本给出信心更低的预测（因均匀分布时没有一个过于自信的预测值）。

2.该损失函数需要外分布样本，而本文针对如何得到外分布样本提出了一种基于GAN的生成方式。与原本的GAN不同，本文的GAN被设计生成内分布外分布边缘处样本。

4. 方法

4.1 针对外分布数据的分类器

不失一般性的，假设训练使用交叉熵损失。然后本文提出了如下的置信损失

其中KL表示KL散度，表示均匀分布，是惩罚参数。容易看到，该损失迫使外分布样本预测分布接近均匀分布。换句话说，这个损失让内分布的最大预测值更大，外分布更小。我们发现由于网络强大的表示能力，加上这个KL项并没有降低分类器的准确率。

理想上，可以采样所有的外分布样本来最小化KL项，或者利用先验知识来高效采样。但是这通常不可行，我们建议对接近内分布的外分布采样，这样可以高效的提升检测性能。

我们考虑一个二分类任务，每个类的数据来自高斯分布，整个空间为的2D区域。用简单的全连接来实现置信损失。首先如图1a，外分布外100个绿色数据点。图1b是在该数据上优化置信损失的决策边界。可以看到分类器依然在接近内分布的区域有过自信的情况（很大的红蓝区域）。另外，如果我们在构建外分布（图1c），图1d是它的决策边界，可以看出此时过于自信的区域大大减小。虽然可以通过增多图1a的样本达到图1d的效果，但是空间大的情况下很低效。这个现象是本文使用GAN来生成边缘数据的原因。

4.2 针对外分布数据的GAN

GAN包括判别器D和生成器G。我们希望生成器复原边缘处的外分布，因此使用如下损失函数

其中第一项迫使生成器生成低密度样本，因为它可以被解释为使用分类器最小化内分布数据的对数负似然，这一项促使生成器不取内分布的点。第二三项对应于原本的GAN损失函数，它们促使生成器不取过于外的点。这三项使得生成器生成边缘处的外分布。如下图所示，星标代表生成的点，(a)图是原本GAN生成的点，(b)图是本文使用的GAN生成的点，可见其生成了想要的边缘处的外分布的点。

4.3 分类器与GAN的联合训练

两个模型可以用于互相提升，因此可以合起来迭代进行训练。由于该算法对于目标函数是单调的，因此保证收敛。

5. 实验结果

表中显示了算法对每个内分布和外分布对的检测性能。当内分布为SVHN时，本文的方法训练的分类器在不损害原有分类性能的情况下，显著提高了所有外分布的检测性能。然而，当内分布为CIFAR-10时，信心损失函数并没有从总体上提高检测性能，这可能是因为训练的/看到的SVHN外分布并没有有效覆盖所有测试的外分布。

图中显示了针对每个内分布和外分布对的基线检测器的性能。首先，观察联合信心损失函数(蓝条)优于外分布数据集的信心损失函数(绿条)。这是非常值得注意的，因为前者只使用分布内数据集进行训练，而后者利用额外的分布外数据集。并且本文的方法明显优于基准的交叉熵损失(红条)在所有情况下而不损害原本分类性能。有趣的是,信心损失函数配合原本的GAN(橙条)通常(但不总是)用于提高检测性能，然而，本文提出的GAN(蓝条)仍然在所有情况下优于它。

6.结论

本文的目的是开发一种训练神经网络的方法以更好地检测外分布，而不失去其原有的分类精度。本质上，本文的方法是通过迭代最小化它们的损失来联合训练两个模型来检测和产生外分布。虽然实验中主要关注图像分类问题，但本文的方法可以用于任何分类任务上。