(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210780874.8 (22)申请日 2022.07.01 (71)申请人 深圳职业 技术学院 地址 518000 广东省深圳市南 山区西丽 街 道西丽湖镇西丽湖畔 (72)发明人 温梦娜　杨金锋　叶子云　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 吴松滨 (51)Int.Cl. G06V 40/12(2022.01) G06V 40/14(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种端到端的手指三模态特征融合分类方 法及装置 (57)摘要 本发明公开了一种端到端的手指三模态特 征融合分类方法及装置， 通过采集手指三模态图 像， 对指静脉图像、 指纹图像和指节纹图像分别 构建基于 卷积神经网络的特征提取模 型， 用于提 取手指三模态特征， 将提取的所有特征输入到手 指三模态特征融合模型中进行融合， 得到手指三 模态融合特征， 并基于全 连接层输出手指三模态 融合特征的特征向量； 根据特征向量分别与预设 特征向量集中每个向量的距离测量结果实现分 类。 本发明通过构建特征提取模型， 保证了卷积 神经网络能够从不同尺寸的手指三模态原始图 像中提取特征， 且基于手指三模态特征融合模 型， 能够实现对指静脉、 指纹和指节纹特征的融 合， 基于端到端的运算方式提高了整个流程的运 算效率。 权利要求书2页 说明书10页 附图4页 CN 115223210 A 2022.10.21 CN 115223210 A 1.一种端到端的手指三模态特 征融合分类方法， 其特 征在于， 包括： 基于手指三模态图像采集设备采集手指三模态图像， 其中， 所述手指三模态图像包括 指静脉图像、 指纹图像和指节纹图像； 对所述指静脉图像、 所述指纹图像和所述指节纹图像分别构建基于卷积神经网络的特 征提取模 型， 以使所述特征提取模型对应提取指静脉特征、 指纹特征和指节纹特征， 输出尺 寸一致的指静脉 特征、 指纹特 征和指节纹特 征； 构建基于卷积神经网络的手指三模态特征融合模型， 将提取出的所有特征输入到所述 手指三模态特征融合模型中， 以使所述手指三模态特征融合模型对所有特征进行融合， 得 到手指三模态融合特 征， 并基于全连接层输出手指三模态融合特 征的特征向量； 将所述特征向量与 预设特征向量集中的每个向量分别进行距离测量， 根据距离测量结 果， 对所述手指三模态图像进行分类。 2.如权利要求1所述的一种 端到端的手指三模态特征融合分类方法， 其特征在于， 基于 手指三模态图像采集设备采集手指三模态图像， 具体为： 所述手指三模态图像采集设备包括指节纹采集摄像头、 指静脉采集摄像头、 指纹采集 仪和近红外光源； 当接收到 图像采集指令时， 控制所述指节纹采集摄像头采集指节纹图像， 控制所述指 纹采集仪采集指纹图像， 同时控制所述指静脉采集摄像头采集指静脉图像， 并在采集所述 指静脉图像时， 开启所述近红外光源。 3.如权利要求1所述的一种 端到端的手指三模态特征融合分类方法， 其特征在于， 对所 述指静脉图像、 所述指纹图像和所述指节纹图像分别构建基于卷积神经网络的特征提取模 型， 具体为： 对所述指静脉图像构建基于卷积神经网络的指静脉特征提取模型， 其中， 所述指静脉 特征提取模型包括六个卷积层； 对所述指纹图像构建基于卷积神经网络的指纹特征提取模型， 其中， 所述指纹特征提 取模型包括四个卷积层； 对所述指节纹图像构建基于卷积神经网络的指节纹特征提取模型， 其中， 所述指节纹 特征提取模型包括六个卷积层。 4.如权利要求1所述的一种 端到端的手指三模态特征融合分类方法， 其特征在于， 所述 构建基于卷积神经网络的手指三模态特征融合模型， 将提取出的所有 特征输入到所述手指 三模态特征融合模型中， 以使所述手指三模态特征融合模型对所有特征进行融合， 得到手 指三模态融合特 征， 具体为： 构建基于卷积神经网络的手指三模态特征融合模型， 其中， 所述手指三模态特征融合 模型包括两个卷积层； 将所述指静脉特征、 所述指纹特征和所述指节纹特征输入到所述手指三模态特征融合 模型中， 以使所述手指三模态特征融合模型中的每一个卷积层分别对所述指静脉特征、 所 述指纹特 征和所述指节纹特 征进行多通道卷积 操作， 得到手指三模态融合特 征。 5.如权利要求1所述的一种 端到端的手指三模态特征融合分类方法， 其特征在于， 根据 距离测量结果， 对所述手指三模态图像进行分类， 具体为： 获取特征向量与预设特征向量集中的每个向量的距离测量结果， 生成距离测量结果数权　利　要　求　书 1/2 页 2 CN 115223210 A 2据集， 其中， 所述预设特 征向量集中每个向量包 含预设的标签信息； 获取所述距离测量结果数据集中的最小值， 判断所述最小值是否小于预设阈值， 若是， 则将所述最小值对应的预设特征向量集中向量的标签信息设置为所述特征向量的标签信 息， 若否， 则对所述特 征向量进行 标签自定义设置 。 6.一种端到端的手指三模态特征融合分类装置， 其特征在于， 包括： 图像采集模块、 手 指三模态特 征提取模块、 手指三模态特 征融合模块和分类模块； 其中， 所述图像采集模块， 用于基于手指三模态图像采集设备采集手指三模态图像， 其 中， 所述手指三模态图像包括指静脉图像、 指纹图像和指节纹图像； 所述手指三模态特征提取模块， 用于对所述指静脉图像、 所述指纹图像和所述指节纹 图像分别构建基于卷积神经网络的特征提取模型， 以使所述特征提取模型对应提取指静脉 特征、 指纹特 征和指节纹特 征， 输出尺寸 一致的指静脉 特征、 指纹特 征和指节纹特 征； 所述手指三模态特征融合模块， 用于构建基于卷积神经网络的手指三模态特征融合模 型， 将提取出 的所有特征输入到所述手指三模态特征融合模型中， 以使所述手指三模态特 征融合模型对所有特征进行融合， 得到手指三模态融合特征， 并基于全连接层输出手指三 模态融合特 征的特征向量； 所述分类模块， 用于将所述特征向量与 预设特征向量集中的每个向量分别进行距离测 量， 根据距离测量结果， 对所述手指三模态图像进行分类。 7.如权利要求6所述的一种 端到端的手指三模态特征融合分类装置， 其特征在于， 所述 图像采集模块， 用于基于手指三模态图像采集设备采集手指三模态图像， 具体为： 所述手指三模态图像采集设备包括指节纹采集摄像头、 指静脉采集摄像头、 指纹采集 仪和近红外光源； 当接收到 图像采集指令时， 控制所述指节纹采集摄像头采集指节纹图像， 控制所述指 纹采集仪采集指纹图像， 同时控制所述指静脉采集摄像头采集指静脉图像， 并在采集所述 指静脉图像时， 开启所述近红外光源。 8.如权利要求6所述的一种 端到端的手指三模态特征融合分类装置， 其特征在于， 所述 手指三模态特征提取模块， 用于对所述指静脉图像、 所述指纹图像和所述指节纹图像分别 构建基于卷积神经网络的特 征提取模型， 具体为： 对所述指静脉图像构建基于卷积神经网络的指静脉特征提取模型， 其中， 所述指静脉 特征提取模型包括六个卷积层； 对所述指纹图像构建基于卷积神经网络的指纹特征提取模型， 其中， 所述指纹特征提 取模型包括四个卷积层； 对所述指节纹图像构建基于卷积神经网络的指节纹特征提取模型， 其中， 所述指节纹 特征提取模型包括六个卷积层。 9.一种终端设备， 其特征在于， 包括处理器、 存储器以及存储在所述存储器中且被配置 为由所述处理器执行 的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求1 至5任意一项所述的端到端的手指三模态特 征融合分类方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质包括存储的计算 机程序， 其中， 在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权 利要求1至 5中任意一项所述的端到端的手指三模态特 征融合分类方法。权　利　要　求　书 2/2 页 3 CN 115223210 A 3