还在想办法提升人脸防伪泛化吗？仅靠人脸系统现有知识即可让性能大幅提升

2023-01-19 11:01

©PaperWeekly 原创 · 作者 | 张文天

单位 | 深圳大学计算机视觉所

研究方向 | 人脸防伪

在人脸识别系统中，通常会在人脸识别模块之前设置一个独立的人脸防伪模块，用于保障系统安全性。由于真实场景中的人脸伪造攻击的方式多种多样，无法全面收集，这种高度依赖于有限训练集的学习型方法很难对所有攻击方式进行预测，不能有效地推广到未知的攻击中。

与人脸防伪任务不同，其他人脸相关任务（例如人脸识别和属性编辑），由于通过大量真实人脸的训练，对不同场景的应用具有很强的泛化能力。受此启发，本文工作提出在人脸系统中更换人脸防伪模块和人脸相关任务的位置，把人脸相关任务中免费获得的先验知识服务于人脸表征攻击检测任务，从而提高其泛化性能。

论文标题：

Effective Presentation Attack Detection Driven by Face Related Task

作者单位：

深圳大学（SZU），阿卜杜拉国王科技大学（KAUST），挪威科技大学（NTNU）

收录会议：

ECCV 2022

论文主页：

https://wentianzhang-ml.github.io/pad/

开源代码：

https://github.com/WentianZhang-ML/FRT-PAD

背景

人脸识别技术凭借其方便快捷和无接触认证的优点，广泛应用于身份验证应用。但是现有人脸识别技术在人为的表征攻击（presentation attacks, PAs）下极其脆弱，例如使用照片、视频回放、低成本人造面具和面部化妆攻击就可以轻易欺骗人脸识别算法。同时，随着互联网和社交软件的发展，人脸图像可以很容易地获取，这进一步增加了人脸识别系统被攻击的风险。这些问题引起了人们对面部识别技术安全性的广泛关注。

为解决上述问题，现有方案往往使用一个单独的表征攻击检测（即人脸防伪）模块，在识别前检测输入数据是否为攻击数据（PAs）或真实人脸数据（Bona fides），来提高系统的安全性。

动机

人脸防伪模块往往需要数量相当的攻击样本和真实人脸进行训练。但是，攻击样本的种类多种多样，很难全面收集，导致训练数据中二者分布不平衡。现有检测算法高度依赖于有限的训练集，无法对未知的表征攻击实现良好的泛化和推广。如图1(a)所示，在传统的人脸系统中，现有的人脸防伪模块（PA Detector）总是出现在人脸相关任务之前，并且相互独立。

与人脸表征攻击检测任务不同，基于人脸的其他常见相关任务（例如，人脸识别和属性编辑）具有强大的泛化能力，因为它们是由大量（数百万）跨性别、年龄和种族的人脸数据训练的。然而，研究人员很少在人脸系统中将人脸防伪算法与人脸相关任务联系起来。由于人脸相关任务已经被训练，我们认为在人脸系统中，将免费获得的人脸相关任务的先验知识服务于人脸表征攻击检测任务，应该会提升其泛化性能。

如图 1（b）所示，我们直接在人脸系统中把训练好且参数固定的人脸相关任务模型得到的特征用于人脸表征攻击检测，使其在真实场景中得到更泛化的推广。

▲ 图1. 传统人脸系统使用表征攻击检测器（a）和本文所提方案（b）示意图。

贡献

团队提出了一种利用人脸相关任务的特征级先验知识的表征攻击检测方法。首先，我们交换了表征攻击检测（人脸防伪）模块和人脸相关任务在人脸系统中的位置。从人脸相关任务中直接获得的任务特定特征包含丰富的泛化知识，通过使用基于图神经网络（GNN）的跨模态适应器，将任务特定特征重新映射并使其适应 PAD 任务。本文所提方法通过缓解训练中攻击样本有限的问题，最终提高了模型的泛化能力。

算法细节

如图 2 所示，所提出方法由两个分支组成，包括基于 CNN 的 PA 检测器和一个辅助分支。PA 检测器通过直接从图像空间中提取特征来区分攻击样本和真实人脸之间的差异。辅助分支旨在从训练好的人脸相关任务模型中提取人脸相关特征。

在辅助分支中，我们首先从人脸相关任务模型的多个网络层中分层地获得任务特定特征（Task Specific Features）。然后，我们设计了一个基于 GNN 的跨模态适应器，以适应 PAD 任务。来自两个分支的特征将被完全融合输入到分类器中，用于最终的 PAD。

▲ 图2. 本文所提基于人脸相关任务的 PAD 方法（FRT-PAD）框架图。

设为训练集中的人脸数据，为通过人脸相关任务训练完成的网络（权重在训练中保持不变）。如图2所示，将编码到任务特定特征，其中是指从第层提取的特征图。

▲ 图3. 跨模态适应器（Cross-Modal Adapter）流程图。

由于在训练中权重不更新，为减少特征可能包含与 PAD 任务不相关的信息，我们提出了一种跨模态适应器重新映射特征到 PAD 任务中。考虑到任务特定的特征是非结构化的，我们采用图神经网络，记为来，处理任务特定特征。表示图的顶点特征。是连接相邻顶点的图的边缘矩阵，由公式（1）给出：

给定两个图顶点和，表示它们之间存在无向边。为了在中正确构建相邻顶点，需要利用之间的关系。由于是由逐层提取的，因此任务特定特征可以作为一个序列执行。我们提出了两种潜在的的图结构以探究的合理利用，分别为 Step-by-Step Graph 和 Dense Graph，如图 3 所示。

然而，矩阵 E 只能反映每个的连接，不同的重要程度未知。因此，我们采用图注意力神经网络（GAT）来找出相邻顶点对中心顶点的贡献。更重要的顶点特征将获得更大的权重。连接图顶点的相对权重可以通过以下公式计算：

其中为共享注意力参数。共享可学习的权重矩阵用于实现图卷积运算，其可以将每个顶点映射到高维度特征。代表图顶点 V 的注意力矩阵。然后，我们使用 softmax 对归一化：

给定两个相连顶点点和，和衡量它们之间的连接强度系数。对于一层注意力网络，可以获得具有注意力权重的顶点特征为：

对于 Step-by-Step Graph，两个图顶点和通过单个边顺序连接。在 Dense Graph 中，不同的图顶点是完全连接的。通过多层图嵌入，得到变换特征。我们将潜层特征视为增强表征的注意力权重。通过平均池化运算以及，可以计算潜层特征的注意力权重。最终人脸相关特征。

为了在人脸 PAD 任务中引入人脸相关特征，本文使用 PA 检测器来学习 PAD 特征。然后，通过将 PAD 特征和人脸相关特征拼接起来得到分层特征。在分类器中输入，就可以有效地区分真实人脸和表征攻击样本。在训练过程中，、和通过交叉熵进行如下训练：

实验评估

1）数据集：

OULU-NPU (O)、CASIA-FASD (C)、Idiap Replay-Attack (I)、MSU-MFSD (M)

2）评估指标：

Half Total Error Rate (HTER),
Area Under Curve (AUC),
Bona Fide Presentation Classification Error Rate (BPCER) (when Attack Presentation Classification Error Rate is 1%)

3）基于人脸相关任务的PAD性能对比：

本文使用以下五种不同的常见人脸相关任务模型作为辅助分支网络：人脸识别（Face Recognition, ），人脸表情识别（Face Expression Recognition, ），人脸检测（Face Detection, ），人脸定位（Face Localisation, ），人脸属性编辑（Face Attribution Editing, ）。

如表1所示，不同的人脸相关任务都可以显著提升 PA 检测器（Baseline）的检测性能。例如，为人脸属性编辑模型时，所提方法在使用 C, I 数据集训练，O, M 数据集测试中的 HTER 仅为 13.18%，AUC 可以达到 94.36%。

▲ 表1. FRT-PAD使用不同人脸相关任务时的性能。

4）与SOTA方法的性能对比

如表2所示，在三个数据集作为训练集，剩余一个数据集作为测试集时，本文方法可以取得 SOTA 效果。其中，使用 O, C, I 数据集训练，M 测试时，本文方法 HTER 可以达到 5.71%，显著提升了 PAD 性能。

▲ 表2. 三个数据集作为训练集时的跨数据集PAD性能对比。

为增加实验难度，我们减少训练集数量，仅使用两个数据集作为训练集，剩余一个作为测试集。如表 3 所示，本文方法仍然可以达到 SOTA 效果。

▲ 表3. 两个数据集作为训练集时的跨数据集PAD性能对比。

我们认为上述实验验证了本文方法与训练所需数据的依赖程度较低，并且本文方法可以有效增强 PAD 模块的泛化性能。

可视化结果

▲ 图4. 在CASIA-FASD数据集上的Grad-CAM可视化结果。

我们进一步使用 Grad-CAM 对本文 FRT-PAD 模型中 PA 检测器和三种人脸相关任务网络得到的特征图进行可视化。跨模态适应器使用 Step-by-Step Graph。如图 4 所示，当使用人脸相关特征时，该模型可以找到 Bona fide 样本和 PA 样本的辨别特征。在从获得的可视化区域中，显示头发、眼睛、鼻子和嘴巴对于区分真实人脸和表征攻击十分重要。这进一步表明了人脸相关任务特征的有效性。

更多阅读