(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210059378.3 (22)申请日 2022.01.19 (71)申请人 佳都科技 集团股份有限公司 地址 511400 广东省广州市番禺区东环街 迎宾路832号番禺节能科技园内番山 创业中心1号楼 2区306房 申请人 广州新科佳都科技有限公司 (72)发明人 刘思思　刘浩　冯展祥　 (74)专利代理 机构 北京泽方誉航专利代理事务 所(普通合伙) 11884 专利代理师 黄宏龙 (51)Int.Cl. G06V 40/10(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06V 10/44(2022.01) G06V 10/82(2022.01) (54)发明名称 基于混合网络的掌静脉识别方法、 装置、 电 子设备和介质 (57)摘要 本发明实施例公开了基于混合网络的掌静 脉识别方法、 装置、 电子设备和存储介质， 基于对 待识别图像进行基于图像块的预处理， 得到多个 图像数据元； 将图像数据元输入 预训练的掌静脉 识别模型进行特征识别， 掌静脉识别模型包括多 个级联的第一处理模块 以及与第一处理模块一 一对应的第二处理模块， 图像数据元依次通过第 一处理模块， 第一处理模块的输入端通过对应的 第二处理模块输入数据， 第一处理模块为 Transformer  Block模块， 第二处理模块为卷积 模块； 对待识别图像的特征识别结果进行掌静脉 匹配， 并输 出匹配结果。 通过级联的Transformer   Block模块以及对应的卷积模块， 使得图像识别 过程中实现对全部信息的提取， 通过卷积模块实 现对局部信息的提取， 保证对图像信息的全面提 取。 权利要求书2页 说明书7页 附图3页 CN 114463782 A 2022.05.10 CN 114463782 A 1.基于混合网络的掌静脉识别方法， 其特 征在于， 包括： 对待识别图像进行基于图像块的预处 理， 得到多个图像数据元； 将所述图像数据 元输入预训练 的掌静脉识别模型进行特征识别， 所述掌静脉识别模型 包括多个级联的第一处理模块以及与所述第一处理模块一一对应的第二处理模块， 所述图 像数据元依次通过所述第一处理模块， 所述第一处理模块的输入端通过对应的第二处理模 块输入数据， 所述第一处理模块为Transformer  Block模块， 所述第二处理模块为卷积模 块； 对所述待识别图像的特 征识别结果进行掌静脉匹配， 并输出匹配结果。 2.根据权利要求1所述的方法， 其特征在于， 所述第二处理模块包括第一转换模块、 卷 积处理模块和第二 转换模块； 所述第一转换模块用于将输入的图像数据 元转换为特征图， 所述卷积处理模块用于对 所述特征图进行卷积处理， 所述第二转换模块用于将卷积后的特征图转换为图像数据元； 所述卷积处理后的特征图的数量为输入的图像数据元的数量的1/4， 每个所述图像数据元 经所述第二处 理模块处 理后的通道数量 为输入时的2倍。 3.根据权利要求1所述的方法， 其特征在于， 所述对待识别图像进行基于图像块的预处 理， 得到多个图像数据元， 包括： 对所述待识别图像进行拆分， 得到n*n个图片块； 将每个所述图片块与对应的位置编码相加并处 理， 得到n*n个图像数据元。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述第一处理模块包括范数模 块、 多头注意力机制模块和前馈模块。 5.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述掌静脉识别模型的损失函数 为基于余弦角度的损失函数。 6.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述对待识别图像进行基于图像 块的预处 理， 得到多个图像数据元之前， 还 包括： 生成样本数据集， 基于所述样本数据集中的训练样本对混合网络进行训练， 得到掌静 脉识别模型。 7.一种基于混合网络的掌静脉识别装置， 其特 征在于， 包括： 预处理单元， 用于对待识别图像进行基于图像块的预处 理， 得到多个图像数据元； 图像识别单元， 用于将所述图像数据元输入预训练的掌静脉识别模型进行特征识别， 所述掌静脉识别模型包括多个级联 的第一处理模块以及与所述第一处理模块一一对应的 第二处理模块， 所述图像数据元依 次通过所述第一处理模块， 所述第一处理模块的输入端 通过对应的第二处理模块输入 数据， 所述第一处理模块为Transformer  Block模块， 所述第 二处理模块为卷积模块； 结果输出单元， 用于对所述待识别图像的特征识别结果进行掌静脉匹配， 并输出匹配 结果。 8.根据权利要求7所述的装置， 其特征在于， 所述第二处理模块包括第一转换模块、 卷 积处理模块和第二 转换模块； 所述第一转换模块用于将输入的图像数据 元转换为特征图， 所述卷积处理模块用于对 所述特征图进行卷积处理， 所述第二转换模块用于将卷积后的特征图转换为图像数据元；权　利　要　求　书 1/2 页 2 CN 114463782 A 2所述卷积处理后的特征图的数量为输入的图像数据元的数量的1/4， 每个所述图像数据元 经所述第二处 理模块处 理后的通道数量 为输入时的2倍。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器， 用于存 储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述电子设备实现如权利 要求1‑6任一所述的基于混合网络的掌静脉识别方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1 ‑6任一所述的基于混合网络的掌静脉识别方法。权　利　要　求　书 2/2 页 3 CN 114463782 A 3