(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111634916.9 (22)申请日 2021.12.2 9 (71)申请人 浪潮通信 信息系统有限公司 地址 250100 山东省济南市高新区浪潮路 1036号浪潮科技园S0 6号楼 (72)发明人 李尚锴　王凯　袁明明　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 潘悦梅 (51)Int.Cl. G06V 30/224(2022.01) G06V 20/62(2022.01) G06V 30/19(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于改进YOLO9000算法的验证码识别方法 及系统 (57)摘要 本发明公开了基于改进YOLO9000算法的验 证码识别方法及系统， 属于验证码识别技术领 域， 要解决的技术问题为如何快速且准确的实现 验证码识别。 包括如下步骤： 采集验证码图片， 验 证码图片中的验证码由汉字、 英文和数字组成； 对验证码中汉字进行标注， 并对验证码图片进行 图像变换处理； 对于YOLO9000模型， 通过减少瓶 颈结构的卷积的构造， 对卷积层进行改进， 并使 用交叉熵损失函数加平均差相似度函数作为损 失函数， 基于改进后YOL O9000模型构建验证码识 别模型； 基于DBN模型构建验证码识别模型； 基于 所述预处理后训练样本分别对所述YOLO模型和 DBN模型进行训练； 通过采用线性可信度累积 的 方式对分类结果进行融合。 权利要求书4页 说明书11页 附图3页 CN 114529911 A 2022.05.24 CN 114529911 A 1.基于改进YOLO90 00算法的验证码识别方法， 其特 征在于包括如下步骤： 采集验证码图片 构建训练样本， 所述验证码图片中的验证码由汉字、 英文和数字组成； 对于训练样本， 对验证码中汉字进行标注， 并对验证码图片进行图像变换处理， 得到预 处理后训练样本； 对于YOLO9000模型， 通过减少瓶颈结构的卷积的构造， 对卷积层进行改进， 并使用交叉 熵损失函数加平均差相似度函数作为损失函数， 得到改进后YOLO9000模型， 所述改进后 YOLO9000模型保留有预训练和多分类功能， 基于所述改进后YOLO9000模 型构建验证码识别 模型， 并记为YOLO模型； 基于DBN模型构建验证码识别模型， 并记为DBN模型； 基于所述预处理后训练样本分别对所述YOLO模型和DBN模型进行训练， 得到训练后 YOLO模型和训练后DBN模型； 对于待识别的验证码图片， 对验证码中汉字进行标注， 并对验证码图片进行图像变换 处理， 得到预处 理后验证码图片； 通过训练后YOLO模型对所述预处理后验证码图片进行识别分类， 得到第一分类结果， 并通过所述训练后DBN模型对所述预处理后验证码识别图片进行识别分类的， 得到第二分 类结果， 通过采用线性可信度累积的方式对所述第一分类结果和第二分类结果进行融合， 得到最终分类结果。 2.根据权利要求1所述的基于改进YOLO9000算法的验证码识别方法， 其特征在于对验 证码图片进 行图像变换处理， 包括对验证码图片进 行旋转变换、 平移变换、 阴影处理以及图 片增强处 理。 3.根据权利要求1所述的基于改进YOLO9000算法的验证码识别方法， 其特征在于对于 训练样本以及 待识别的验证码图片， 进 行数据清洗， 去除无效和不完整的汉字、 英文以及数 字。 4.根据权利要求1所述的基于改进YOLO9000算法的验证码识别方法， 其特征在于通过 减少瓶颈结构的卷积的构 造， 对卷积层进 行改进， 删除两层1 ×1卷积， 将 检测头从九个卷积 层减少到六个， 在每个最大池化层后接入dropout层， 以防止过拟合， 所述 改进后YOLO9000 模型具有十五个卷积层。 5.根据权利要求1所述的基于改进YOLO9000算法的验证码识别方法， 其特征在于所述 DBN模型包括受限玻尔兹曼机RBM和顶层的反向传播网络BP组成， RBM层共有三层， 分别为可 视层、 隐藏层和全连接层， 可视层用于输入数据， 隐藏层用于进行特征检测， 可视层与隐藏 层之间通过全连接， 通过RBM层 进行无监督的机器学习训练， 将下层RBM作为上一层的输出， 通过BP神经网络对输出结果进行训练， 并将实际输出与预期输出 的误差逐层反向传播， 调 增网络的权 重， 最终得到适用验证码识别的三层DBN模型。 6.根据权利要求1所述的基于改进YOLO9000算法的验证码识别方法， 其特征在于通过 下式定义pi为验证码识别模型对第i个字的识别能力， ci表示第i种字符被识别正确的此 申 诉， ni代表第i种字符在样本集中出现的总次数， N 为字符种类总数； 第一验证码识别模型对N种字符的识别能力向量表示如下：权　利　要　求　书 1/4 页 2 CN 114529911 A 2其中 表示YOLO模型对第N钟字符的识别能力； 第二验证码识别模型对N种字符的识别能力向量表示如下： 其中 表示YOLO模型对第N钟字符的识别能力。 7.根据权利要求1所述的基于改进YOLO9000算法的验证码识别方法， 其特征在于通过 采用线性可信度累积的方式对所述第一分类结果和第二分类结果进行融合， 包括如下步 骤： 通过训练后YOLO模型对待识别验证码图片进行分类识别， 得到的得分XYOLO表示为： 将YOLO模型的识别得分与YOLO模型的能力向量pYOLO进行点乘的结果作为模型最后的识 别得分OYOLO表示为： 通过训练后DBN模型对待识别验证码图片进行分类识别， 得到的得分XDBN表示为： 将DBN模型的识别分数与DBN模型的能力向量pDBN进行点乘的结果作 为模型最后的识别 得分ODBN表示为： 将训练后YOLO模型得分的分量从大到小排序， 选取最的大两个分量并记录， 将DBN模型 得分的分量从大到小排序， 选取最的大两个分量并记录， 融合YOLO模型和DBN模型得到 的结果， 输出最后分类识别结果class， 采用线性可信度 累积(LCA)， 引入α, β 作为加权因子， 融合YOLO模型和DBN模型的识别得分， 其中α, β 的相加和 等于1， 通过调节α, β 的值权衡两个模型之间的比重， 识别得分的计算公式如下， O＝aXYOLo+β XDBN＝(o1 o2， ...， oN) 最后得到O中概 率最大的分量， 记为clas s并输出： class＝argmax(oi o2,...， oN)。 8.基于改进YOLO9000算法的验证码识别系统， 其特征在于通过如权利要求1 ‑7任一项 所述的基于改进YOLO90 00算法的验证码识别方法进行验证码识别， 所述系统包括： 数据采集模块， 所述数据采集模块用于采集验证码图片构建训练样本， 所述验证码图 片中的验证码由汉字、 英文和数字组成； 数据预处理模块， 所述数据预处理模块用于对验证码中汉字进行标注， 对验证码图片 进行数据清洗， 去除无效和不完整的汉字、 英文以及数字， 并对验证码图片进 行图像变换 处 理， 得到预处 理后训练样本；权　利　要　求　书 2/4 页 3 CN 114529911 A 3