©PaperWeekly 原创 · 作者 | 朱尧，陈岳峰，李小丹等
本文中，我们主要研究的是分布外（OOD）检测任务。分布外检测是确保深度神经网络在实际场景中的可靠性和安全性的关键任务。不同于以往大多数 OOD 检测方法侧重于设计 OOD score 或引入各种异常值样本进行重新训练模型，我们从典型性的角度深入研究 OOD 检测中的关键因素，并将深度模型的高概率区域的特征视为该特征的典型集。我们提出了将原始特征校正为典型特征，并用典型特征计算 OOD 分数，以实现可靠的不确定性估计。特征校正可以作为一个即插即用的模块，应用到各种 OOD score 方法中。我们评估了我们的方法在常用基准（CIFAR）和更具挑战性的基准（ImageNet）上的优越性。值得注意的是，我们的方法在 ImageNet 基准测试的平均 FPR95 中优于最先进的方法高达 5.11%。
Boosting Out-of-distribution Detection with Typical Features论文链接：
https://arxiv.org/abs/2210.04200代码链接：
https://github.com/alibaba/easyrobust/tree/main/examples/ood_detection/BATS
背景
深度神经网络已经广泛应用于各个领域。除了深度模型的准确性，其预测的不确定性在安全关键的现实世界场景中也至关重要，如自动驾驶、医疗、金融等。当遇到一些深度模型在训练中没有接触过的样本时，我们希望模型发出警报，将它们交给人类进行安全处理，而不是将其错误的进行分类。这种挑战通常被称为分布外 (Out-of-distribution) 检测，并在最近获得了显著的研究关注。
现有方法
我们的工作主要考察了不需要重新训练深度模型的 OOD 检测方法，这类方法希望利用预训练的神经网络的输出设计合适的 OOD 分数，期待给分布内 (ID) 的样本分配较高的分数，给分外 (OOD) 的样本分配较低的分数。比如使用模型输出的 logits，使用模型的特征，使用模型的梯度信息等等。 比如 MSP：利用模型输出的最大 softmax 概率进行统计分析，认为模型对于正常样本的置信度更高，而异常样本置信度较低：
ODIN 基于 softmax 的方法， 试图将 OOD 样本和 ID 样本 softmax 概率的分布差距加大。提出了两点改进，一方面引入了模型校准中常用的温度系数，另一方面引入了对抗扰动做图像预处理。
EnergyScore：从分类模型的输出中推导出一个能量相关的表达式，使用能量的大小来评估样本，分布内样本具有较低的能量而分布外样本具有较高的能量。
GradNorm：假设模型针对分布内样本的输出比较 OneHot，而针对分布外样本的输出比较均匀，该方法提出一个损失函数衡量模型输出与均匀分布之间的 KL 散度，之后再计算这个 KL 散度的梯度，分布内样本的梯度较大而分布外样本的梯度较小。
我们的工作没有提出一项新的指标来做分布外样本检验，而是提出一种可以提升现有指标性能的方法。
3.1 动机
我们将模型倒数第二层（分类层之前）的输出称之为特征，我们假设模型训练中有些特征出现概率高，有些出现概率低。这对于有 Batch Normalization 的模型很好理解，Batch Normalization 将每个隐层神经元的输出分布强制拉回到均值为 0 方差为 1 的比较标准的正态分布，因而特征在每个通道上的分布存在高概率区域和低概率区域。同时我们也观察到没有 Batch Normalization 的网络结构如 ViT 模型在训练集上提取的特征也近似服从高斯分布，存在高概率区域和低概率区域。模型在训练过程中，见到高概率区域的特征比见到低概率区域特征更频繁，因而模型应该对高概率=特征更有把握，而对于低频率特征比较没把握。我们将高频率出现的特征称为典型特征，低频率出现的特征称为极端特征。很自然的我们考虑在不确定性估计中尽量使用典型特征来计算，降低异常特征的干扰。我们提出将特征约束到特征的典型集合中，即特征分布的高概率区域，这是一个简单且即用的方法。关于如何确定特征的典型集合，我们提供了两种方案：1. 对于有 BN 的网络，BN 中的统计量本身统计了训练集数据的特征在每一个通道的均值 和标准差 ，可以直接使用些 BN 统计的信息；2. 对于没有 BN 的网络，可以使用一组训练集合的数据来估计每个维度上的特征的平均值 和标准差 。然后，我们将特征截断到区间 中获得矫正过的特征，其中 是超参数，将超过该区间的特征截断为区间的边界值，使用矫正后的特征来计算 OOD 分数。我们将分布外检测解释为一个假设检验问题。我们考虑具有 个类的分类问题，并将标签表示为 。设 为输入空间。假设分布内数据 是从在 上 定义的联合分布 中采样得到的。我们用 表示输入变量 的边缘分布 。给定一个测试输入 ，分布外检测问题可以表述为一个单样本假设检验问题：
这里的原假设意味着测试输入是分布内样本，分布外检测任务的目的在于在分布内数据上设计
一个指标来决定是否拒绝原假设。分布外检测任务需要构建一个拒绝域 ，当测试输入 落入拒绝域时原假设 应该被拒绝。通常，拒绝域由检验指标和阈值来表示。我们可以使用深度模型的一部分（如输出 logits，特征等）构建检验指标 ，其中 表示待检验样本， 表示深度模型。这样拒绝域可以被定义为 指域值。在利用分布内样本来构建拒绝域时，异常特征的存在可能会导致一些异常的输出，使得输出的方差较大，这样会降低拒绝域估计的准确性。直觉上我们的方法将特征矫正到一个典型的区间中，降低异常特征的影响，能够有效的较低输出的方差，提升拒绝域估计的准确性。同时，截断操作会损失特征中的一部分信息，这可能会引入额外的偏差。因此存在一个方差和偏差之间的权衡。不失一般性的, 我们考虑一个具有 ReLU 激活和 BN 归一化的结构进行理论分析：。BN 会将特征归一化到平均值 和标准差 的正态分布，即末经截断的特征方差是 ，将特征截断到区间 区间后，特征方差是：
其中 是高斯误差函数， 是表示方差变化程度的函数。，当 时 ，并且 对 的导数大于 0，因此 是一个单调递增的函数， 越小 越小。OOD 检测是一个单样本假设检验问题，并且真实分布 未知。所以拒绝域是由检验统计量由在 ID 数据上的检验统计量 的经验分布估计的。极端特征增加了不确定性，并导致更异常的检验统计量。这意味着由于 的重尾特性，拒绝区域的估计可能不准确。我们的方法通过减少深度特征的方差来帮助解决这个问题，这有助于限制检验统计量 的不确定性以及提高拒绝域的估计精度。我们的方法对特征进行了截断，显然会损失一部分特征的信息，从而在结果中引入一个偏差。未经截断的特征经过 BN 后的输出 z 的期望是：
经过我们的截断操作后输出 z 的期望是：
因此我们的操作引入的偏差是：
和 是标准正态分布的概率密度函数 (pdf) 和累积分布函数 (cdf)。超参数 越小偏差越大，这可能对模型的性能有所损害。因此使用我们的方法时存在一个方差和偏差的权衡。如下图所示，用 Energy Score 作为检验指标，绿色区域表示分布外样本（OOD）的得分分布，橙色区域表示分布内样本（ID）的得分分布，当超参数 较小时，如图（a），得分分布的方差很小，但是引入的偏差损害了模型的性能，因此区分 ID 和 OOD 能力下降；当超参数 较大时，如图（d），得分分布的方差较大，对拒绝域的估计可能不准，因此区分 ID 和 OOD 能力不强。选择合适的超参数可以有效的提升 OOD 检测能力。
我们在小数据集 CIFAR 和大数据集 ImageNet 两个Benchmark上进行了验证。
在 CIFAR 上我们的方法在平均检测性能上可以比过去的方法有 3% 左右的提升，这里我们的方法是指使用我们提出的特征矫正后使用 Energy Score 进行 OOD 检测：在 ImageNet 上，下表中我们呈现了使用 ViT 模型进行 OOD 检测时，我们方法带来的性能提升，“MSP+Ours”指使用我们方法矫正特征后使用 MSP 指标检验样本，我们的矫正方法能给不同的现有指标带来 5% 以上的性能提升：我们也使用 ResNet-50 和 Mobile-Net 进行了实验，可见我们的方法可以有效的降低 FPR95 和提升 AUROC：
本文核心在于分析模型特征对于 OOD 检测的影响，从方差和偏差的均衡上给出了解释。但是本文还有一些额外的发现，可能会对未来的研究有所启发：
1. 本文发现，使用约束后的特征进行样本分类，可以提升分类任务的精度和鲁棒性（针对噪声等）。不需要重新训练模型，但是能轻微的提升一些分类精度。Normal 表示原预训练模型，Ours 表示约束特征后的模型。2. 本文发现，其实模型本身已经具有了区分 ID，OOD 的能力（模型能对 ID 和 OOD 样本提取出明显不同的特征），这可能表明事后检测方法还有提升的空间。随着可解释性的发展，可能会有更好的算法。Block 表示模型不同的层，Block4 是模型最后一层，黄色的点是模型不同层提取的 ID 样本的特征，蓝色的点是不同的 OOD 样本的特征，其实分类模型的最后边的层能够很好的将 ID 与 OOD 区分开。
3. 本文发现，模型的鲁棒性可能对于 OOD 检测没有正相关的影响，不同强度对抗训练后的模型在 OOD 检测中表现接近。
未来我们还需要进一步增强模型和算法的可解释性，理解模型的决策行为和置信度，这对于模型在真实世界中的部署有重要的实际意义。
AAIG安全实验室致力于人工智能特别是深度学习的前沿技术研究与应用实践，实现可靠、可信、可用的人工智能系统，在TPAMI、NeurIPS、ICLR、CVPR、TIP、ICCV、ECCV、EMNLP、IEEE S&P、USENIX Security、CCS等学术会议上和期刊上发表多篇高水平论文，累计申请专利多项，参与多项国际国内技术标准制定，荣获中国人工智能大赛深度伪造视频检测A级证书。主要研究方向包括：人工智能安全性、鲁棒性、可解释性、公平性、迁移性、隐私保护和因果推理等，从基础理论研究和技术创新两方面。与清华、中科院、浙大、上交、中科大等国内知名高校建立学术合作关系。
实验室目前正在招聘研究型实习生，对人工智能安全方向有兴趣的可以发简历到：[email protected]
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：[email protected]
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
