(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211287210.4 (22)申请日 2022.10.20 (71)申请人 深延科技 （北京） 有限公司 地址 100089 北京市海淀区中关村大街27 号15层15 08 (72)发明人 陈海波　罗志鹏　 (74)专利代理 机构 北京金智普华知识产权代理 有限公司 1 1401 专利代理师 徐会娟 (51)Int.Cl. G06V 30/148(2022.01) G06V 30/19(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于神经网络的繁体字识别方法及装 置 (57)摘要 本发明提供了一种基于神经网络的繁体字 识别方法及装置， 涉及计算机视觉与自然语言处 理技术领域， 能够更精准的切割字符， 挖掘出上 下文之间存在的语义信息并充分利用， 提高了模 型的鲁棒性和识别准确率； 该方法包括： S1、 字符 检测： 提取出所有单个繁体字字符， 并分组； S2、 特征提取： 对每一组的字符进行统一尺寸操作， 并用特征提取网络进行特征提取， 得到每个字 符 的特征向量； S3、 将每组字符对应的特征向量当 做不同时间输入值输入一维双向LSTM网络卷积 计算； S4、 根据卷积计算结果， 采用多标签分类器 Softmax进行分类得到识别结果； 裁切图像的方 式为： 列切分和/或字切分； 采用投影法进行列切 分， 采用等距切割方式进行字切分。 权利要求书1页 说明书5页 附图3页 CN 115546800 A 2022.12.30 CN 115546800 A 1.一种基于神经网络的繁体字识别方法， 其特 征在于， 所述识别方法的步骤 包括： S1、 字符检测： 提取 出所有单个繁体字 字符， 并分组； S2、 特征提取： 对每一组的字符进行统一尺寸操作， 并用特征提取网络进行特征提取， 得到每个字符的特 征向量； S3、 将每组字符对应的特征向量当做不同时间对应的输入值， 输入一维双向LSTM网络 中进行卷积计算； S4、 根据卷积计算结果， 采用多标签分类 器Softmax进行分类， 得到 繁体字识别结果。 2.根据权利要求1所述的基于神经网络的繁体字识别方法， 其特征在于， 一维双向LSTM 网络中进行 卷积计算的内容包括： 顺序计算1至n时刻的特 征向量， n ＝每组的字符数。 3.根据权利要求1所述的基于神经网络的繁体字识别方法， 其特征在于， 步骤S2中采用 Resnet50作为特征提取网络进行 特征提取。 4.根据权利要求1所述的基于神经网络的繁体字识别方法， 其特征在于， 步骤S1提取单 个繁体字字符的内容包括： 采用字符分割算法获取单个字符的位置信息， 并在原图像上裁 切出来字符的图像。 5.根据权利要求4所述的基于神经网络的繁体字识别方法， 其特征在于， 步骤S1中对单 个字符进行分组的内容包括： 获得不同字符之间的粘连关系， 根据粘结关系判断字符是否 属于同一个文本列， 并将单个字符的图像按顺序分到所属文本列中， 实现分组。 6.根据权利要求4所述的基于神经网络的繁体字识别方法， 其特征在于， 在原图像上裁 切字符图像的方式为： 列切分和/或字切分。 7.根据权利要求6所述的基于神经网络的繁体字识别方法， 其特征在于， 列切分时， 采 用投影法对图像进行切分， 得到每列在坐标轴的像素值投影曲线并进行高斯平滑， 将 高斯 平滑后曲线的每 个波谷位置间对应区域作为 一列。 8.根据权利要求6所述的基于神经网络的繁体字识别方法， 其特征在于， 字切分时， 采 用等距切割方式对文字进行切割。 9.根据权利要求6所述的基于神经网络的繁体字识别方法， 其特征在于， 所述字符分割 算法为CRAFT字符分割算法。 10.一种基于神经网络的繁体字识别装置， 包括存储器、 处理器以及存储在所述存储器 中并能在所述处理器上运行 的计算机程序， 其特征在于： 所述处理器执行所述计算机程序 时实现如权利要求1 ‑9任一所述方法的步骤。权　利　要　求　书 1/1 页 2 CN 115546800 A 2一种基于神经 网络的繁体字识别方 法及装置 技术领域 [0001]本发明涉及计算机视觉与自然语言处理技术领域， 尤其涉及一种基于神经网络的 繁体字识别方法及装置 。 背景技术 [0002]目前， 繁体字识别的思路基本有两个： (1)以列为单位进行文本检测， 之后通过 CRNN的方式对文本序列进 行编码预测； (2)以字符为单位进 行单个字 符的检测， 之后通过传 统图像属性分类的思路对单个字符进行分类。 [0003]方法(1)属于相对通用的光学字符识别思路， 适用于绝大多数应用场景。 但是在传 统古籍影印本以及报纸等数据中， 字符之间的间距过小， 甚至往往会 出现字符粘连的情况。 预测结果往往会出现缺字漏字多字的情况。 同时由于识别结果无法对齐， 无法满足集字校 对的需求。 [0004]方法(2)同样是部分公司对繁体字识别项 目的实现方法， 这种方法通过字符检测 已经针对规则的后处理切割可以实现相对精准的位置分割， 但是没有利用到上下文之 间的 语义关系(汉典重光是这个思路)。 [0005]“基于CRNN模型的中文场景的文字识别 ”一文中针对中文场景的文字面临着字体 和字符种类多、 文字背 景复杂等问题， 提出了一种基于CRNN模型的一种免分割、 端到端的中 文场景文字识别方法。 首先利用CNN提取图像特征， 然后RNN进行序列特征预测， 其中Bi ‑GRU 有效抑制梯度消失或梯度爆炸， Dropout可以防止过拟合,最后引入CTC作为损失函数解决 训练时字符无法对齐的问题。 [0006]“利用深度卷积神经网络算法识别传统篆体书法的应用研究 ”一文中通过研究深 度卷积神经网络在书法文字检测识别任务上的应用， 设计了一个篆体书法文字检测识别的 完整系统， 包括数据采集、 数据扩充、 算法训练与测试和算法模型部署等流程。 整个系统以 YOLOv4目标检测算法为基础， 根据篆体书法图像数据特征对采集得到的数据进 行有效地扩 充， 进行多次训练和验证测试， 最终获得了89.7％的平均精度、 92.3％的准确率和94.7％的 召回率， 同时达到45张/ s的识别速度； 最 终将识别检测模型部署 至服务器端， 并提供了接口 供外部调用。 实验证明设计的识别系统可以利用深度卷积神经网络自动、 快速、 准确地对篆 体文字进行定位和识别。 [0007]以上方案虽然使用了神经网络处理单个字符， 但只利用单个字符信息进行检测， 之后通过传统图像属性分类的思路可以实现一定精准度的位置 分割， 但没有使用到上下文 之间的语义关系， 在语句关联信息挖掘和识别准确率方面都显得不足， 不能满足使用要求。 [0008]因此， 有必要研究一种新的基于神经网络的繁体字识别方法来应对现有技术的不 足， 以解决或减轻 上述一个或多个问题。 发明内容 [0009]有鉴于此， 本发明提供了一种基于神经网络 的繁体字识别方法及装置， 能够更精说　明　书 1/5 页 3 CN 115546800 A 3