(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210210553.4 (22)申请日 2022.03.04 (71)申请人 长春工业大学 地址 130012 吉林省长 春市朝阳区延安大 路17号 (72)发明人 鲁慧民　李玉鹏　赵程程　刘伟业　 (74)专利代理 机构 郑州德勤知识产权代理有限 公司 41128 专利代理师 黄红梅 (51)Int.Cl. G06V 40/14(2022.01) G06K 9/62(2022.01) G06V 10/25(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 指静脉识别模 型训练方法及识别方法、 系统 和终端 (57)摘要 本发明提出了一种指静脉识别模型训练方 法及识别方法、 系统和终端， 指静脉识别模型训 练方法包括： 对原始的手指静脉图像进行ROI定 位， 得到每张指静脉图像的ROI； 对指静脉数据集 中所有指静脉图像样本进行处理， 得到每张图像 的ROI并进行保存； 对处理后的指静脉数据集进 行训练集和测试集的划分； 对数据集中的指静脉 图像进行分块处理， 将分块后的指静脉图像拉平 重组； 对指静脉图像进行线性映射处理， 将二维 的指静脉图像处理为一维的向量； 搭建模型的 Transformer  Encoder模块； 搭建模型的胶囊网 络模块； 使用训练集和测试集对 所述的融合视觉 Transformer和胶囊神经网络模型进行训练， 得 到指静脉识别网络模型。 权利要求书3页 说明书7页 附图3页 CN 114581965 A 2022.06.03 CN 114581965 A 1.一种融合视觉Transformer和胶囊神经网络的指静脉识别模型训练方法， 其特征在 于， 包括： 步骤1， 对指静脉数据集中所有指静脉图像样本进行ROI定位， 得到每张图像的ROI并进 行保存； 步骤2， 对处 理后的指静脉 数据集进行训练集和 测试集划分； 步骤3， 对指静脉数据集中的指静脉图像进行线性映射处理， 以将二维的指静脉图像处 理为一维的向量； 步骤4， 搭建指静脉识别模型的Transformer  Encoder模块， 将步骤3得到的一维指静脉 图像向量传入搭建完成的Transformer  Encoder模块， 进行第一阶段的指静脉特征信息提 取； 步骤5， 搭建指静脉识别模型的胶囊网络模块， 将经过步骤4处理得到的数据传入搭建 完成的胶囊网络模块， 进行第二阶段的指静脉 特征信息提取； 步骤6， 使用训练集和测试集对指静脉识别 模型进行训练， 得到训练好的指静脉识别模 型。 2.根据权利要求1所述的融合视觉Transformer和胶囊神经网络的指静脉识别模型训 练方法， 其特 征在于， 将二维的指静脉图像处 理为一维的向量的方法包括： 将指静脉图像数据集进行分块处理， 并将分块后的指静脉图像数据集拉平重组， 使指 静脉图像数据维度变换为(N,P2C)； 将分块后的指静脉图像数据集线性映射 为一维向量， 由以下公式确定： 3.根据权利要求2所述的融合视觉Transformer和胶囊神经网络的指静脉识别模型训 练方法， 其特征在于， 对一维指静脉图像向量进行第一阶段的指静脉特征信息提取 的方法 包括： 构建L层Transformer  Encoder模块， 包括多层注意力模块和全连接前馈神经网络； 将一维指静脉图像向量输入多层注意力模块， 处 理过程由以下公式进行： [Q,K,V]＝[ZWQ,ZWK,MZ] 将所有的注意力头进行 连接， 通过 可学习权值 W的前馈层进行投射： MultiHead(Q,K,V)＝Co ncat(Head1,…Headh)WO 以完成第一阶段的指静脉 特征信息提取。 4.根据权利要求3所述的融合视觉Transformer和胶囊神经网络的指静脉识别模型训 练方法， 其特征在于， 对Transformer  Encoder模块提取的指静脉特征信息进行第二阶段的权　利　要　求　书 1/3 页 2 CN 114581965 A 2指静脉特征信息提取的方法包括： 搭建初始胶囊模块， 其中， 卷积层的卷积核大小为9 ×9， 通道数为256， 步长为1； 第二层 由大小为9 ×9的卷积核， 通道数为256， 步长为2的卷积操作得到； 将初始胶囊模块中的胶 囊 转化为8维初始胶囊， 每 个维度的初始胶囊为32 ×6×6； 搭建数字胶囊 模块， 每个数字胶囊为16维度； 在初始胶囊和数字胶囊之间使用动态路由算法进行迭代， 以完成第 二阶段的指静脉特 征信息提取。 5.根据权利要求4所述的融合视觉Transformer和胶囊神经网络的指静脉识别模型训 练方法， 其特 征在于， 所述动态路由算法包括： 对胶囊的输入向量ui和输出向量vj应用转换矩阵Wij获得预测向量 由以下公式进 行： 对预测向量 进行加权求和得加权求和结果sj， 由以下公式进行： 对加权求和结果sj应用Squash函数， 以使输出向量vj被压缩至接近0的长度， 长 向量被 压缩至接近1的长度， 由以下公式进行： 将预测向量 和Squash函 数处理后的输出向量vj进行向量积操作， 以判断预测向量和 输出向量之间的相似性， 由以下公式进行： 计算耦合系数cij， 由以下公式进行： 更新耦合系数cij， 执行以上步骤， 按照公式 进行4次迭代后， 输出迭 代完成的结果。 6.一种融合视觉Transformer和胶囊神经网络的指静脉识别方法， 其特征在于， 包括以 下方法步骤： 将待识别指静脉图像进行ROI定位， 得到每张指静脉图像的ROI； 将经过ROI定位处理的指静脉图像输入采用权利要求1 ‑5任一项所述的融合视觉 Transformer和胶囊神经网络的指静脉识别模型训练方法训练好的指静脉识别模型， 即可 输出手指静脉识别结果。 7.一种基于权利要求6所述的融合视觉Transformer和胶囊神经网络的指静脉识别方权　利　要　求　书 2/3 页 3 CN 114581965 A 3