(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211129848.5 (22)申请日 2022.09.16 (71)申请人 郑州轻工业大 学 地址 450000 河南省郑州市高新 技术产业 开发区科 学大道136号 (72)发明人 李祖贺　崔宇豪　陈燕　杨永双　 陈浩然　蒋斌　庾骏　王凤琴　 刘伟华　陈辉　卜祥洲　朱寒雪　 (74)专利代理 机构 郑州优盾知识产权代理有限 公司 41125 专利代理师 张彬 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于DFMN和DSD的单模态人脸活体检测 方法 (57)摘要 本发明提出了一种基于DFMN和DSD的单模态 人脸活体检测方法， 用于解决传统方法无法精准 识别出人脸活体与非活体 之间差异的问题； 其步 骤为： 首先， 对接收到的人脸可见光图像进行预 处理操作， 提取可见光图像的特征， 并根据可见 光图像特征划分正、 负样本空间； 其次， 构建DFMN 网络结构， 基于正、 负样本空间构建DSD联合优化 框架对DFMN进行网络模型训练， 得到DFMN模型； 最后， 将待识别的可见光人脸图像输入DFMN模型 中， 输出人脸活体检测结果。 本发明通过深度卷 积神经网络DFMN和DSD方法的结合， 学习了真假 面部中的重要线索， 能够有效地消除可将光人脸 图像中面部特征的干扰， 提升了可见光模态下人 脸活体检测的准确率。 权利要求书2页 说明书6页 附图2页 CN 115424330 A 2022.12.02 CN 115424330 A 1.一种基于DFMN和D SD的单模态人脸活体 检测方法， 其特 征在于， 其 步骤如下： 步骤一： 对接收到的人脸可见光图像进行预处理操作， 提取可见光图像的特征， 并根据 可见光图像特 征划分正样本空间、 负 样本空间； 步骤二： 构建Dual  Feature Mapping Network(DFMN)， 基于正样本和负样本构建Dual   Sample Discrepancy(D SD)联合优化框架对DFMN进行网络模型训练， 得到DFMN模型； 步骤三： 将待识别的可 见光人脸图像输入DFMN模型中， 输出 人脸活体 检测结果。 2.根据权利要求1所述的基于DFMN和DSD的单模态人脸活体检测方法， 其特征在于， 所 述DFMN的网络结构包括输入层、 第一残差单元、 第二残差单元、 第三残差单元、 池化层、 全连 接层、 softmax层和输出层； 输入层与第一残差单元相连接， 第一残差单元与第二残差单元 相连接， 第二残差单元与第三残差单元相连接， 第三残差单元与池化层相连接， 池化层与全 连接层相连接， 全连接层与softmax层相连接， softmax层与输出层相连接 。 3.根据权利要求2所述的基于DFMN和DSD的单模态人脸活体检测方法， 其特征在于， 所 述第一残差单元、 第二残差单元和第三残差单元均包括卷积层I、 卷积层II、 卷积层III和双 重特征映射模块； 卷积层I与卷积层II相连接， 卷积层II与卷积层III相连接， 卷积层III与 双重特征映射模块相连接 。 4.根据权利要求3所述的基于DFMN和DSD的单模态人脸活体检测方法， 其特征在于， 所 述双重特征映射模块包括全局平均池化层、 全局最大池化层、 多层感知机； 输入 特征分别经 过全局最大池化层和全局平均池化层后分得到特征I和特征II， 特征I和特征II再分别通过 多层感知机后进行加权融合后得到 输出特征。 5.根据权利要求4所述的基于DFMN和DSD的单模态人脸活体检测方法， 其特征在于， 所 述第一残差单 元、 第二残差单 元和第三残差单 元的处理方法为： S1.1： 输入双重特征映射模块的特征图F大小为H ×W×C， 输入的特征图F分别经过全局 最大池化层和全局平均池化层的操作后得到 两个1×1×C的特征图； S1.2： 将步骤S1.1中的两个1 ×1×C的特征图分别输入多层感知机， 其中多层感知机包 括两层全连接层与GELU激活函数； S1.3： 将多层感知机输出的特征进行concatenation的加和操作， 并通过sigmoid函数 激活， 输出最终特 征Fc， 整个过程可以表示 为： Fc＝sigmoid(MLP(AvgPo ol(F))+MLP(MaxPo ol(F)))； 其中， MLP表示多层感知机， AvgPool( ·)表示全局平均池化操作， MaxPool( ·)表示全 局最大池化操作。 6.根据权利要求1所述的基于DFMN和DSD的单模态人脸活体检测方法， 其特征在于， 所 述基于正样本和负样本构建Dual  Sample Discrepancy(DSD)联合优化框架对DFMN进行网 络模型训练的方法为： S2.1： 将训练集样本输入至上述构建的网络模型中进行训练； 其中， 训练集样本包括正 样本和负样本， 所有正样本组成正样本空间， 记为Ωpos＝{ω丨ω＝x1,x2,x3……xm}， 所有 负样本组成负样本空间， 记为Ωneg＝{θ 丨θ＝y1,y2,x3……yn}； 其中， xi为正样本， yj为负样 本， i＝1,2,…,m， j＝1,2, …,n； S2.2： 通过D SD联合框架计算模型误差， 并提取模型 预测结果； 基于正样本xi和xi的期望值计算当前正样本与其 余正样本间的相似度：权　利　要　求　书 1/2 页 2 CN 115424330 A 2其中， Dpos为正样本的样本相似度， 正样本的分布为[a， b]， || ·||表示L2范数， E( ·)为 期望值函数； 基于负样本yj和yj的期望值计算当前负 样本与其 余负样本间的相似度： 其中， Dneg为负样本的样本相似度， 负 样本的分布为[c， d]； 将所有样本输入DFMN得到样本预测值， 结合交叉熵损失计算样本预测值与真实值间的 差异： 其中， Dmain为样本预测值与真实值间的损失值， W(k)表示第k个样本的真实值， P(k)表示 第k个样本的预测值； 结合Dpos和Dneg进行权重加和操作， 实现整个D SD联合框架的构建： DAll＝Dmain+Dpos+Dneg； 其中， DAll表示表示总体损失函数； S2.3： 根据模型预测结果与真实标签进行比较， 通过循环遍历整个训练样本空间， 计算 预测正确结果数； S2.4： 反向传播更新DFMN的网络参数， 在进行反向传播前先进行梯度清零， 运用SGD随 机梯度下降法更新网络参数； S2.5： 输出模型训练的损失率和准确率， 并保存每一次迭代的模型参数， 选择在验证集 上准确率 最高的模型参数。权　利　要　求　书 2/2 页 3 CN 115424330 A 3