(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210126459.0 (22)申请日 2022.02.10 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 张慧　黄珊　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 李文静 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 20/62(2022.01) G06V 10/22(2022.01) G06V 10/40(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) (54)发明名称 文本识别模型的训练方法、 文本识别方法、 装置和设备 (57)摘要 本申请公开了一种文本识别模型的训练方 法、 文本识别方法、 装置和设备， 属于计算机技术 领域。 方法包括： 获取样本文本图像和样本文本 图像的标注结果； 基于第一网络模 型获取样本文 本图像的视觉特征， 样本文本图像的视觉特征用 于表征样 本文本图像中各个字 符的外形和位置； 基于第一网络模 型和样本文本图像的视觉特征， 获取样本文本图像的第一预测结果； 基于第二网 络模型和样 本文本图像的视觉特征， 获取样本文 本图像的第二预测结果； 基于第一预测结果、 第 二预测结果和标注结果， 对第一网络模型进行调 整， 得到文本识别模型。 该文本识别模型综合了 不同模型的文本识别能力， 提高了文本识别模型 对视觉特征的提取能力， 提高了文本识别模型的 文本识别能力。 权利要求书4页 说明书22页 附图6页 CN 114462580 A 2022.05.10 CN 114462580 A 1.一种文本识别模型的训练方法， 其特 征在于， 所述方法包括： 获取样本文本图像和所述样本文本图像的标注结果， 所述标注结果是通过标注得到的 所述样本文本图像中的各个字符； 基于第一网络模型获取所述样本文本图像的视觉特征， 所述样本文本图像的视觉特征 用于表征 所述样本文本图像中各个字符的外形和位置； 基于所述第 一网络模型和所述样本文本图像的视觉特征， 获取所述样本文本图像的第 一预测结果， 所述第一预测结果是由所述第一网络模型通过预测得到的所述样本文本图像 中的各个字符； 基于第二网络模型和所述样本文本图像的视觉特征， 获取所述样本文本图像的第 二预 测结果， 所述第二预测结果是由所述第二网络模型通过预测得到的所述样本文本图像中的 各个字符； 基于所述第一预测结果、 所述第二预测结果和所述标注结果， 对所述第一网络模型进 行调整， 得到文本识别模型。 2.根据权利要求1所述的方法， 其特征在于， 所述基于第 一网络模型获取所述样本文本 图像的视 觉特征， 包括： 基于所述第一网络模型获取所述样本文本图像中各个字符的外形特征以及所述样本 文本图像中各个字符的位置特 征； 基于所述样本文本图像中各个字符的外形特征和所述样本文本图像中各个字符的位 置特征， 确定所述样本文本图像的视 觉特征。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述样本文本图像中各个字符的 外形特征和所述样本文本图像中各个字符的位置特征， 确定所述样本文本图像的视觉特 征， 包括： 对于所述样本文本图像中的任一个字符， 将所述样本文本图像中各个字符的外形特征 和所述样本文本图像中各个字符的位置特征进 行融合， 得到所述任一个字符的第一融合特 征； 基于所述样本文本图像中各个字符的第 一融合特征， 确定所述样本文本图像的视觉特 征。 4.根据权利要求2所述的方法， 其特征在于， 所述基于所述样本文本图像中各个字符的 外形特征和所述样本文本图像中各个字符的位置特征， 确定所述样本文本图像的视觉特 征， 包括： 对于所述样本文本图像中的任一个字符， 将所述任一个字符对应的至少一个相邻 字符 的外形特征和所述至少一个相 邻字符的位置特征进行融合， 得到所述任一个字符的第二融 合特征； 基于所述样本文本图像中各个字符的第 二融合特征， 确定所述样本文本图像的视觉特 征。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一网络模型和所述样本文 本图像的视 觉特征， 获取所述样本文本图像的第一预测结果， 包括： 对于所述样本文本图像中的任一个字符， 基于所述第 一网络模型和所述样本文本图像 的视觉特征， 确定所述任一个字符属于各个参 考字符的第一 概率；权　利　要　求　书 1/4 页 2 CN 114462580 A 2从所述任一个字符属于各个参 考字符的第一 概率中确定第一 最大概率； 将所述第一最大概率对应的参考字符， 确定为所述任一个字符对应的由所述第 一网络 模型通过 预测得到的字符。 6.根据权利要求1所述的方法， 其特征在于， 所述基于第 二网络模型和所述样本文本图 像的视觉特征， 获取所述样本文本图像的第二预测结果， 包括： 基于所述第 二网络模型和所述标注结果， 确定所述样本文本图像中各个字符的语义特 征； 基于所述第一网络模型获取 所述样本文本图像中各个字符的位置特 征； 基于所述样本文本图像的视觉特征、 所述样本文本图像中各个字符的语义特征和所述 样本文本图像中各个字符的位置特 征， 获取所述样本文本图像的第二预测结果。 7.根据权利要求6所述的方法， 其特征在于， 所述基于所述样本文本 图像的视觉特征、 所述样本文本图像中各个字符的语义特征和所述样本文本图像中各个字符的位置特征， 获 取所述样本文本图像的第二预测结果， 包括： 基于所述样本文本图像中各个字符的位置特征和所述样本文本图像中各个字符的语 义特征， 确定所述样本文本图像中各个字符的第三融合特 征； 基于所述样本文本图像的视觉特征和所述样本文本图像中各个字符的第 三融合特征， 获取所述样本文本图像的第二预测结果。 8.根据权利要求7所述的方法， 其特征在于， 所述基于所述样本文本图像中各个字符的 位置特征和所述样本文本图像中各个字符的语义特征， 确定所述样本文本图像中各个字符 的第三融合特 征， 包括： 对于所述样本文本 图像中的任一个字符， 将所述任一个字符的语义特征、 所述任一个 字符的位置特征、 所述任一个字符之前 的各个字符的语义特征、 所述任一个字符之前 的各 个字符的位置特 征进行融合， 得到所述任一个字符的第三融合特 征。 9.根据权利要求7所述的方法， 其特征在于， 所述基于所述样本文本图像的视觉特征和 所述样本文本图像中各个字符的第三融合特征， 获取所述样本文本图像的第二预测结果， 包括： 对于所述样本文本图像中的任一个字符， 将所述样本文本图像的视觉特征和所述样本 文本图像中各个字符的第三融合特 征进行融合， 得到所述任一个字符的第四融合特 征； 基于所述样本文本图像中各个字符的第四融合特征， 获取所述样本文本图像的第 二预 测结果。 10.根据权利要求9所述的方法， 其特征在于， 所述基于所述样本文本图像中各个字符 的第四融合特 征， 获取所述样本文本图像的第二预测结果， 包括： 对于所述样本文本图像中的任一个字符， 基于所述样本文本图像中各个字符的第四融 合特征， 确定所述任一个字符属于各个参 考字符的第二 概率； 从所述任一个字符属于各个参 考字符的第二 概率中确定第二 最大概率； 将所述第二最大概率对应的参考字符， 确定为所述任一个字符对应的由所述第 二网络 模型通过 预测得到的字符。 11.根据权利要求1至10任一项所述的方法， 其特征在于， 所述基于所述第 一预测结果、 所述第二预测结果和所述标注结果， 对 所述第一网络模型进 行调整， 得到文本识别模型， 包权　利　要　求　书 2/4 页 3 CN 114462580 A 3