(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210207783.5 (22)申请日 2022.03.03 (71)申请人 清华大学 地址 100084 北京市海淀区10 0084信箱82 分箱清华大学专利办公室 (72)发明人 孔鹏　张宇明　 (74)专利代理 机构 北京纪凯知识产权代理有限 公司 11245 专利代理师 孙楠 (51)Int.Cl. G06V 40/16(2022.01) G06K 9/62(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01) (54)发明名称 一种反照片攻击人脸识别系统及方法 (57)摘要 本发明提供一种反照片攻击人脸识别系统 及方法。 所述系统包括： 人脸识别单元， 视频图像 采集模块， 红外图像采集模块， 网络继电器， 门禁 控制器， 电磁锁； 人脸识别单元利用基于视频图 像特征和红外图像特征融合的真伪识别模型进 行真伪检测； 如果检测结果是真实人脸， 通过将 人脸特征与用户数据库进行匹配检测身份的合 法性； 如果身份合法， 向网络继电器发送开门指 令， 并通过门禁控制器输出开门信号打开电磁 锁。 本发明利用人脸照片和真实人脸红外成像的 差异， 并基于视频图像特征和红外图像特征的融 合进行真伪检测， 能够有效识别照片攻击； 可 以 实现任何光照条件下的目标检测， 解决了现有检 测系统在夜晚等 黑暗环境下检测效果差的问题。 权利要求书2页 说明书8页 附图5页 CN 114596614 A 2022.06.07 CN 114596614 A 1.一种反照片攻击人脸识别系统， 其特征在于， 包括： 人脸识别单元， 通过网络与人脸 识别单元相连 的视频图像采集模块、 红外图像采集模块和网络继电器， 与网络继电器相连 的门禁控制器， 以及与门禁控制器相连 的电磁锁； 人脸识别单元利用基于视频图像特征和 红外图像特征融合的真伪识别模型进行真伪检测； 如果检测结果是真实人脸， 通过将人脸 特征与用户数据库进行匹配检测身份的合法性； 如果身份合法， 向网络继电器发送开 门指 令， 并通过门禁控制器输出开门信号打开电磁锁。 2.根据权利要求1所述的反照片攻击人脸识别系统， 其特征在于， 利用所述真伪识别模 型进行真伪检测的方法包括： 利用由Transformer编码器构成的特征编码模块， 对分别由视频 图像采集模块和红外 图像采集模块输出的视频图像和红外图像分别进行 特征提取； 利用由Transformer解码器构成的特征融合模块， 对提取的视频 图像特征和红外图像 特征进行融合； 将视频图像和红外图像的融合特征输入由Transformer全连接层构成的预测模块， 输 出目标类别； 目标类别包括真实人脸和照片欺骗。 3.根据权利要求2所述的反照片攻击人脸识别系统， 其特征在于， 所述方法还包括对视 频图像和红外图像分别进行的如下操作： 将图像切割成N个切片； 将每个切片在通道维度展开， 输入至一个线性全连接层得到一个d维向量； 计算切片行和列 方向的正余弦位置编码， 并加至线性全连接层的输出得到N ×d编码矩 阵。 4.根据权利要求3所述的反照片攻击人脸识别系统， 其特征在于， 所述特征编码模块由 Transformer编码器堆叠而成， 每个Transformer编码器包括一个多头自注意力模块层和一 个前馈网络层以及与每层相连的一个规范化层及残差单元； 输入到多头自注意力模块的视 频图像或红外图像的N ×d编码矩阵， 经过三种不同的线性变换得到大小为N ×d'的查询向 量、 键向量和值向量， 查询向量和键向量之 间通过带缩放系数的向量点积 计算相似度， 并经 softmax函数归一化后获得注意力权重矩阵， 所述权重矩阵与值向量相乘后得到一路注意 力结果； 将多路注意力结果拼接后再映射回原来的维度d'， 得到视频图像或红外图像的特 征编码。 5.根据权利要求4所述的反照片攻击人脸识别系统， 其特征在于， 所述特征融合模块由 Transformer解码器堆叠而成， 每个Transformer解码器包括一个多头自注意力模块层、 一 个多头互注意力模块层和一个前馈网络层以及与每层相连的一个规范化层 及残差单 元。 6.根据权利要求1所述的反照片攻击人脸识别系统， 其特征在于， 所述网络继电器包 括： 微处理器， 与微处理器电连接的以太网控制器、 无线通信模块和继电器驱动电路， 继电 器。 7.根据权利要求1所述的反照片攻击人脸识别系统， 其特征在于， 所述系统还包括通过 网络与人脸识别单元相连 的测温模块， 用于将测得 的现场温度传送给识别单元， 人脸识别 单元选择与现场温度对应的真伪识别模型。 8.一种利用权利要求1所述系统进行人脸识别的方法， 包括在人脸识别单元执行的以 下步骤：权　利　要　求　书 1/2 页 2 CN 114596614 A 2实时获取分别由视频图像采集模块和红外图像采集模块输出的视频图像和红外图像； 利用真伪识别模型基于 视频图像特 征和红外图像特 征的融合进行真伪检测； 如果检测结果是真实人脸， 将人脸特 征与用户数据库进行匹配 检测身份的合法性； 如果身份合法， 向网络继电器发送开门指令， 并通过门禁控制器输出开门信号打开电 磁锁。 9.根据权利要求8所述的方法， 其特征在于， 利用真伪识别模型进行真伪检测的方法包 括： 利用由Transformer编码器构成的特征编码模块， 对分别由视频 图像采集模块和红外 图像采集模块输出的视频图像和红外图像分别进行 特征提取； 利用由Transformer解码器构成的特征融合模块， 对提取的视频 图像特征和红外图像 特征进行融合； 将视频图像和红外图像的融合特征输入由Transformer全连接层构成的预测模块， 输 出目标类别； 目标类别包括真实目标和照片攻击目标。 10.根据权利要求8所述的方法， 其特征在于， 所述方法还包括： 根据通过网络与人脸识 别单元相连的测温模块测得的现场温度， 选择与现场温度对应的真伪识别模型。权　利　要　求　书 2/2 页 3 CN 114596614 A 3