(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210668068.1 (22)申请日 2022.06.14 (71)申请人 深圳市翼慧通科技有限公司 地址 518000 广东省深圳市龙华区观湖街 道松元厦社区环观中路104号长京机 器人B栋厂房5 02 (72)发明人 柳成荫　罗燕　 (74)专利代理 机构 深圳市世纪宏博知识产权代 理事务所(普通 合伙) 44806 专利代理师 赖智威 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 优化MTCNN和Facenet的人脸识别方法及装 置 (57)摘要 本发明涉及人工智能技术领域， 揭露了一种 优化MTCNN和Fac enet的人脸识别方法、 装置及电 子设备， 包括： 获取人脸图片集及真实人脸框， 将 所述人脸图片集输入至第一人脸识别模型， 得到 第一人脸预测框， 根据所述第一人脸预测框拆分 所述人脸图片集得到异常视角人脸图集、 正常视 角人脸图集及完全视角人脸图集并输入至第二 人脸识别模 型生成第二人脸预测框， 根据每张人 脸图片的真实人脸框、 第一人脸预测框及第二人 脸预测框调节所述第一人脸识别模型及第二人 脸识别模型的模型参数， 得到人脸识别集成模 型， 将人脸待识别图片输入至所述人脸识别集成 模型中， 得到人脸识别结果。 本发明可 以解决人 脸识别时效性较 差的问题。 权利要求书3页 说明书13页 附图5页 CN 114973380 A 2022.08.30 CN 114973380 A 1.一种优化MTCN N和Facenet的人脸识别方法， 其特 征在于， 所述方法包括： 获取人脸图片集， 其中所述人脸图片集中每张人脸图片均包括真实人脸框； 将所述人脸图片集输入至预构建的第 一人脸识别模型， 其中所述第 一人脸识别模型按 照Facenet网络的网络顺序构建得到， 共18层网络结构， 其中18层所述网络结构由12层卷积 层、 4层池化层 及2层全连接层 及预测框预测函数组成； 利用所述第 一人脸识别模型识别所述人脸图片集中每张人脸图片的人脸位置， 得到第 一人脸预测框； 计算每张人脸图片中真实人脸框与第一人脸预测框的IOU值， 将IOU值小于0.40的人脸 图片标记为异常视角人脸图， 得到异常视角人脸图集， 将IOU值大于0.60的人脸图片标记 为 完全视角人脸图， 得到完全视角人脸图集， 将IOU值在0.40至0.60的人脸图片标记 为正常视 角人脸图， 得到正常视角人脸图集； 将所述异常视角人脸图集、 正常视角人脸图集及完全视角人脸图集输入至预构建的第 二人脸识别模 型， 其中所述第二人脸识别模 型参照MTCNN的网络结构， 构建得到包括人脸是 否存在判断网络、 人脸检测框生成网络及人脸特 征检测网络； 利用所述人脸是否存在判断网络从所述异常视角人脸图集、 正常视角人脸图集及完全 视角人脸图集中选择 出存在人脸的图片， 得到人脸存在集； 将所述人脸存在集输入至所述人脸检测框生成网络实现人脸检测框预测， 得到人脸检 测框集； 利用所述人脸特征检测网络在所述人脸检测框集中每个人脸检测框的界限范围内识 别包括鼻子、 左眼、 右眼、 左嘴角及右嘴角的所在特征坐标， 根据所述特征坐标及对应的人 脸检测框生成第二人脸预测框； 根据每张人脸图片的真实人脸框、 第 一人脸预测框及第 二人脸预测框调节所述第 一人 脸识别模型及第二人脸识别模型的模型参数， 得到人脸识别集成模型； 将人脸待识别图片输入至所述人脸识别集成模型中， 得到人脸识别结果。 2.如权利 要求1所述的优化MTCNN和Facenet的人脸识别方法， 其特征在于， 所述第一人 脸识别模型从头到尾的网络结构依次为： 第1层卷积层、 第2层池化层、 第3层卷积层、 第4层 卷积层、 第5层池化层、 第6层卷积层、 第7层卷积层、 第 8层卷积层、 第9层 池化层、 第10层卷积 层、 第11层卷积层、 第12层卷积层、 第13层卷积层、 第14层卷积层、 第15层卷积层、 第16层池 化层、 第17层全连接层、 第18层全连接层 及预测框预测函数。 3.如权利 要求1所述的优化MTCNN和Facenet的人脸识别方法， 其特征在于， 所述计算每 张人脸图片中真实人脸框与第一人脸预测框的IOU值， 包括： 计算每张人脸图片中真实人脸框与第一人脸预测框的交集 值及并集 值； 确定所述交集 值与并集 值的比值得到所述 IOU值。 4.如权利 要求3所述的优化MTCNN和Facenet的人脸识别方法， 其特征在于， 所述利用所 述人脸是否存在判断网络从所述异常视角人脸图集、 正常视角人脸图集及完全视角人脸图 集中选择 出存在人脸的图片， 得到人脸存在集， 包括： 将所述异常视角人脸图集、 正常视角人脸图集及完全视角人脸图集均作为正标签集， 并确定负标签集的数量 为0； 将所述异常视角人脸图集、 正常视角人脸图集及完全视角人脸图集输入至所述人脸是权　利　要　求　书 1/3 页 2 CN 114973380 A 2否存在判断网络中， 其中所述人脸是否存在判断网络包括8层卷积神经网络、 人脸是否存在 概率函数及人脸判断损失函数； 利用所述8层卷积神经网络依次对所述异常视角人脸图集、 正常视角人脸图集及完全 视角人脸图集执 行卷积池化操作， 得到多组的多维人脸向量 集； 对每组所述多维人脸向量 集均执行单维度转 化， 得到单维人脸向量 集； 将每组所述单维人脸向量集均输入至所述人脸是否存在概率函数执行人脸是否存在 的判断， 得到人脸是否存在的判断标签集； 将所述判断标签集、 正标签集及负标签集输入至所述人脸判断损失函数执行损失计 算， 得到人脸损失值； 根据所述人脸损失值调节所述人脸是否存在判断网络的模型参数， 直至人脸损失值小 于或等于人脸损失阈值， 得到参数调节完成的人脸是否存在判断网络； 利用参数调节完成的人脸是否存在判断网络识别所述异常视角人脸图集、 正常视角人 脸图集及完全视角人脸图集， 得到所述人脸存在集。 5.如权利 要求4所述的优化MTCNN和Facenet的人脸识别方法， 其特征在于， 所述将所述 判断标签集、 正标签集及负标签集输入至所述人脸判断损失函数执行损失计算， 得到人脸 损失值， 包括： 采用如下 人脸判断损失函数对每张图片执 行损失计算， 得到每张图片的人脸损失值： 其中， 表示第i张图片在人脸是否存在判断网络d中的损失值， 表示第i张图片在 所述正标签集及负标签集所记录是否存在人脸的数值， 若存在人脸则数值为 1， 若不存在人 脸则数值 为0， pi表示第i张图片被所述人脸是否存在概 率函数计算得到概 率值。 6.如权利 要求5所述的优化MTCNN和Facenet的人脸识别方法， 其特征在于， 所述将所述 人脸存在集输入至所述人脸检测框生成网络实现人脸检测框预测， 得到人脸检测框集， 之 前包括： 从所述人脸图片集中随机提取10％的人脸图片， 得到检测框训练图片集； 将所述检测框训练图片集输入至待训练的人脸检测框生成网络执行检测框预测， 得到 预测人脸框； 计算每张检测框训练图片对应的预测人脸框和真实人脸框的误差， 得到人脸框误差 值； 根据预构建的梯度下降算法及所述人脸框误差值调节待训练的所述人脸检测框生成 网络， 得到训练完成的人脸检测框生成网络 。 7.如权利 要求6所述的优化MTCNN和Facenet的人脸识别方法， 其特征在于， 所述计算每 张检测框训练图片对应的预测人脸框和真实人脸框的误差， 得到人脸框误差值， 包括： 采用如下误差计算 函数， 计算预测人脸框和真实人脸框的误差： 其中， L表示所述人脸框误差值， N表示所述预测人脸框或真实人脸框四个拐角的标号， i＝1表示左上角， i＝2表示右上角， i＝3表示左下角， i＝4表示右下角， 表示第a张图权　利　要　求　书 2/3 页 3 CN 114973380 A 3