(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210176443.0 (22)申请日 2022.02.25 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 王海霞　王影影　张怡龙　梁荣华　 陈朋　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 舒良 (51)Int.Cl. G06V 40/12(2022.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/25(2022.01) (54)发明名称 一种基于多输入卷积神经网络的高分辨率 掌纹识别的方法 (57)摘要 一种基于多输入卷积神经网络的高分辨率 掌纹识别的方法， 包括如下步骤： 1)对高分辨率 掌纹ROI进行定义， 包括中心ROI区域和边缘ROI 区域(包括大鱼际ROI区域， 小鱼际ROI区域， 指间 区ROI区域， 简称ROI1,ROI2,ROI3)的裁剪。 因此， 一只手掌数据共可以裁剪 出4块ROI区域图像， 作 为用于识别的数据； 2)设计高分辨率掌纹识别的 网络模型， 用步骤1)裁剪的ROI样本,并对 其进行 数据增广以此生成更多的掌纹ROI数据来进行训 练； 3)运行多输入卷积神经网络模型并输出结 果。 本发明能够联合 掌纹中心ROI区域和边缘ROI 区域提取更全面的特征以达到更高的高分辨率 掌纹识别率。 权利要求书2页 说明书5页 附图3页 CN 114581962 A 2022.06.03 CN 114581962 A 1.一种基于多输入卷积神经网络的高分辨掌纹识别的方法， 其特征在于， 包括如下步 骤： 1)对高分辨率掌纹ROI进行定义， 包括中心ROI区域和边缘ROI区域(包括大鱼际ROI区 域， 小鱼际ROI区域， 指间区ROI区域， 简称ROI1,ROI2,ROI3)的裁剪； 因此， 一只手掌数据共 可以裁剪出4块ROI区域图像， 作为用于识别的数据； 2)设计高分辨率掌纹识别的网络模型， 用步骤1)裁剪的ROI样本,并对其进行数据增广 以此生成更多的掌纹ROI数据来进行训练； 3)运行多输入卷积神经网络模型并输出 结果。 2.根据权利要求1所述的基于多输入卷积神经网络的高分辨掌纹识别的方法， 其特征 在于， 所述 步骤1)包括： (11)掌纹ROI区域样本的获取采用自适应ROI裁剪算法； 首先进行掌纹两谷点(中指与 食指,无名指和小拇指之间)的坐标提取， 然后基于两谷点来进行二维直角坐标系的建立， 基于两谷点之间的连线来作为X轴， 并垂直此线建立Y轴， 无名指和小拇指之间的谷点坐标 作为原点； (12)对于中心ROI 的裁剪， 根据两谷点之间的距离d， 选取了( ‑0.2d， 0.2d)作为截取区 域的左上角坐标， ,然后分别沿着平行X， Y坐标轴正方向截取1.4d的长度； 对于其它边缘 ROI， 根据对掌纹数据的统计分析得到相应的截取区域大小， 针对ROI1、 ROI2、 ROI3， 分别选 取坐标系中的(0.7d， 1.2d)、 ( ‑0.4d， 0.7 d)、 (‑0.25d， 0.1d)作为待截取区域的左上角坐标 位置， 然后沿着平行X坐标轴正方向分别截 取0.6d、 0.5d、 d的长度， Y坐标轴正方向分别截 取 0.6d、 0.9d、 0.4d的长度； (13)因此中心ROI区域大小截取为1.4d*1.4d,ROI1、 ROI2、 ROI3大小分别截取为0.6d* 0.6d,0.5d*0.9d,d*0.4d， 然后对图片尺寸大小进行归一化， 最终中心ROI尺寸为512*512， ROI1、 ROI2、 ROI3尺寸分别为512* 512， 900*300， 900*300； 以此作为训练网络的样本 。 3.根据权利要求1或2所述的基于多输入卷积神经网络的高分辨掌纹识别的方法， 其特 征在于， 所述 步骤2)包括： (21)设计构建一个多输入卷积神经网络模型， 设定训练参数和损失函数， 使其能够同 时实现对掌纹图像的中心区域和边缘区域特征的提取以及识别， 该多输入 卷积神经网络包 括特征提取部分和特 征融合部分； (211)特征提取部分对高分辨率掌纹ROI进行下采样操作， 由于一组掌纹ROI数据大小 差距问题， 因此 特征提取部分 分为三条路径， 分别将中心ROI、 ROI2和ROI3、 ROI1输入； 首先针对中心ROI图像特征提取这条路径， 包括7层， 每一层由两个卷积模块和一层池 化层组成， 其中每个卷积模块的卷积层的卷积核大小为3*3， 数量为16个， 步幅为1； 池化层 步幅为2； 输入的中心ROI图像依次经过第一卷积模块的第一卷积层、 BN层以及ReLU激活函 数； 再依次经过第二卷积模块的第一卷积层、 BN层以及ReLU激活函数 处理， 最后经过池化层 下采样处理； 后续处理与上述相同， 再进行6次先两次卷积后池化， 其对应的卷积模块的卷 积核大小皆为3*3， 数量分别为32个， 64个， 128个， 256个， 512个， 512个； 将大小为512 ×512 的中心ROI图像输入， 依次经 过第一层到第七层， 输出的特 征大小为4*4*512； 对于边缘ROI2,ROI3特征提取路径， 和前面中心ROI特征提取路径相似， 但由于图片尺 寸相对较小， 所以少了一层卷积池化步骤， 包括6层， 每层 对应的卷积核数量分别为32个， 64权　利　要　求　书 1/2 页 2 CN 114581962 A 2个， 128个， 256个， 512个， 512个； 由于4块ROI尺寸相差太大， 为了保证提取的特征能够更好 更方便地融合， 所以在进行特征提取过程中对大小为900*300的ROI2、 ROI3图像输入时， 进 行了切片工作； 将图像切成大小为300 ×300的三份， 然后依次进行输入； 300 ×300的图像输 入， 依次经 过第一层到第六层， 输出的特 征大小为4*4*512； 而ROI1特征提取路径， 和中心ROI特征提取路径相同， 将大小为512 ×512的ROI1图像输 入， 依次经 过第一层到第七层， 输出的特 征大小为4*4*512； (212)特征融合部分将手掌的边缘ROI特征和中心ROI特征进行融合； 在上述特征提取 过程中， 中心ROI、 ROI1和切片后的ROI2、 ROI3最后输出的特征大小皆为4*4*512， 保持了一 致， 然后将三条路径输出的特 征进行级联操作， 进行 特征层融合； (22)网络训练部分， 共输入三份数据， 分别为锚， 正样本和负样本， 用多输入卷积神经 网络对此三份数据进 行特征提取， 因此它们的参数是共享的； 网络提取的特征， 之后再经过 两个卷积模块和一层 池化层操作， 其中每个卷积模块的卷积层的卷积核 大小为3*3， 数量为 1024个， 步幅为1； 池化层步幅为2； 最后进行自适应平均池化形成1024维的特征向量， 再使 用卡方距离(Chi ‑square Distance)计算锚和正样本以及锚和负样本的距离， 并把这两个 距离送入损失函数进行计算； 之后， 使用Adam  Optimizer优化器进行优化迭代， 迭代多次后 得到最优解； 在上述训练过程中， 多输入卷积神经网络损失函数为： Loss＝max(d(a,p) ‑d(a,n)+margi n,0)           (1) 其中a表示锚， p表示和a相同类别的正样本， n表示和a不 同类别的负样本， margin表示 一常量， 设为0.2， d(a,n)表示锚a与 负样本n之间的距离； 最小化Loss的目标是： 使得d(a,p) 接近0， d(a,n)大于d(a,p)+margi n。 4.根据权利要求1或2所述的基于多输入卷积神经网络的高分辨掌纹识别的方法， 其特 征在于， 所述 步骤3)包括： 运行网络模型， 输入测试掌纹数据， 用训练好的网络模型对此测试数据和数据库中所 有的参考掌纹数据进行卡方距离的计算， 找到距离值最小的参考掌纹图像， 如果该距离小 于设定的阈值0.5， 则判定为同一类； 反 之， 没有与测试掌纹图像相同的类别。权　利　要　求　书 2/2 页 3 CN 114581962 A 3