(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210754389.3 (22)申请日 2022.06.30 (65)同一申请的已公布的文献号 申请公布号 CN 114821682 A (43)申请公布日 2022.07.29 (73)专利权人 广州脉泽科技有限公司 地址 510699 广东省广州市越秀区东 风东 路836号二座1104室 (72)发明人 董延杰　曾香玉　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 林丽明 (51)Int.Cl. G06V 40/12(2022.01) G06V 40/14(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 沈怡然 (54)发明名称 一种基于深度学习算法的多样本混合掌静 脉识别方法 (57)摘要 本发明公开了一种基于深度学习算法的多 样本混合掌静脉识别方法及系统， 方法包括以下 步骤： S1、 采集多波段的手掌静脉图像并进行预 处理； S2、 对预处理后的图像进行图像融合； S3、 利用深度学习图像关键点定位方法确定融合图 像中的掌静脉关键点； S4、 基于掌静脉关键点截 取最大化感兴趣区域； S5、 利用生成网络和判别 网络从最大化感兴趣区域中提取静脉特征， 得到 静脉图像特征； S6、 计算得到每张静脉特征图像 与预设模板图像的汉明距离； S7、 将多波段下每 张静脉特征图对应的汉明距离进行加权得到最 终汉明距离， 根据最终汉明距离大小判定手掌图 像与模板图像是否匹配。 本发明通实现了对具有 区分性信息的静脉特征有效提取， 同时提高了掌 静脉识别的精度。 权利要求书4页 说明书9页 附图3页 CN 114821682 B 2022.09.23 CN 114821682 B 1.一种基于深度学习算法的多样本混合掌静脉识别方法， 其特 征在于， 包括以下步骤： S1、 采集多 波段的手掌静脉图像并进行 预处理； S2、 利用深度学习图像融合方法对预处 理后的图像进行图像融合； 具体过程 为： S201、 将预处理后的图像输入至VGG16网络中， 利用VGG16网络 的多级特征提取模块提 取5级深度图像特征， 将 5级深度图像特征输入至VGG16网络的相 邻特征提取模块得到4级深 度图像特 征； S202、 将4级深度图像特征输入VGG16网络的权重归一化 融合模块进行不同模态间特征 的精确融合得到最终融合特 征； S203、 将最终融合特 征输入至VG G16网络的图像重构模块得到融合图像； S3、 利用深度学习图像关键点定位方法确定融合图像中的掌静脉关键点； S4、 基于掌静脉关键点截取最大化感兴趣区域； S5、 利用生成网络和判别网络从最大化感兴趣区域中提取静脉特征， 得到静脉图像特 征； S6、 通过特征搜索和匹配 计算得到每张静脉 特征图像与预设模板图像的汉明距离； S7、 将多波段下每张静脉特征图对应的汉明距离进行加权得到最终汉明距离， 若最终 汉明距离小于或等于预设阈值则当前判定手掌图像与模板图像匹配， 若最终汉明距离大于 预设阈值则当前判定手掌图像与模板图像不匹配。 2.根据权利要求1所述的一种基于深度学习算法的多样本混合掌静脉识别方法， 其特 征在于， 所述采集多波段的手掌静脉图像即分别在波长760nm、 8 10nm、 850nm、 940nm、 960nm 近红外光下分时采集手掌静脉图像， 图像采集的帧率 为120帧/秒； 所述预处 理包括： 灰度均衡化、 非线性变换、 旋转、 空间域增强及频率 域增强。 3.根据权利要求1所述的一种基于深度学习算法的多样本混合掌静脉识别方法， 其特 征在于， VG G16网络每一个分支得到的每一级图像特 征表示为： 其中， 表示第n(n= 1,2,3,4,5)个分支 得到的融合后的第r(r=1,2,3,4)级图像特征； cat()表示级联操作； conv()表示卷积操作； 表示滤波器的参数集； 表示神经网络 的激活函数； 表示第n个分支中VGG16网络第r个相邻特征提取模块得到的图像特征， 表示第n个分支中VG G16网络第r+1个相邻特 征提取模块得到的图像特 征； 在步骤S202中特 征融合的表达式为： 其中， cat()表示级联操作； conv()表示卷积操作； 表示滤波器的参数集； 表示 神经网络的激活函数； ， 分别表示当前级的融合特征与前一级权重归一化融合权　利　要　求　书 1/4 页 2 CN 114821682 B 2模块的输出， 表示当前级权 重归一化融合模块的输出； 融合图像 的表达式为： 其中， conv()表示卷积操作； 表示滤波器的参数集； 表示神经网络的激活函 数。 4.根据权利要求1所述的一种基于深度学习算法的多样本混合掌静脉识别方法， 其特 征在于， 步骤S3的具体过程 为： S301、 对现有的深度信 念网络进行全局训练， 利用训练后的深度信 念网络提取LBP纹理 特征； S302、 利用图像的LBP纹理特征得到手掌图像的关键点类标值， 识别出掌静脉的关键 点; S303、 利用并行 卷积神经网络对识别出的关键点进行精准定位， 得到预定义关键点。 5.根据权利要求4所述的一种基于深度学习算法的多样本混合掌静脉识别方法， 其特 征在于， 所述预定义关键点包括： 每两根手指之 间的凹点、 每根手指根部中点、 手腕两侧点、 手腕中点、 拇指根部外侧点及小指根部外侧点， 将每两根手指之间的凹点、 每根手指根部中 点、 手腕两侧点、 手腕中点、 食指根部外侧点、 拇指根部外侧点及小指根部外侧点依 次连线 得到的封闭区域即为 最大化感兴趣区域。 6.根据权利要求1所述的一种基于深度学习算法的多样本混合掌静脉识别方法， 其特 征在于， 利用生成网络和判别网络从最大化感兴趣区域中提取静脉特征， 得到静脉特征图 像具体步骤为： 501、 利用不同分割算法将 手掌图像分割为静脉和背 景， 得到二值图像， 使用 二值图像中的像素值作为标签并进行二 值图像融合得到标签图； S502、 构建M型生成对抗网络， 利用得到的标签图对M型生成对抗网络进行训练； S503、 将最大化感兴趣区域输入至训练后的M型生成对抗网络提取 出静脉特征图像； 所述M型生成对抗网络包括生成网络和判别网络， 其中， 生成网络包括： 收缩路径模块 和扩展路径模块， 所述收缩路径模块使用下采样的卷积核来提取图像特征， 所述扩展路径 模块采用上采样的方式使得到的特征图恢复到与原输入图像一样大小的尺寸， 从而实现图 像的分割， 将下采样与上采样的特征图进行融合得到  2 通道的特征图谱， 将2  通道的特征 图谱经过归一化函数处理输出概 率图； 所述判别网络包含一个卷积神经网络， 所述卷积神经网络共有五个卷积层和一个全连 接层， 判别网络的输入为图像， 输出 是概率值， 表示输入的图像是真实图像的概 率值； 所述判别网络的损失函数如下公式所示： 其中， x表示输入的灰度图， y表示真实标签， K(x,y)  表示判别网络对真实图像判别为 真的概率， G(x)表示生成的标签， 表示判别网络对生成图像判别为真的概 率， 为真实图像和标签的联合概率分布的期 望， 为灰 度图像概 率分布的期望；权　利　要　求　书 2/4 页 3 CN 114821682 B 3