(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210159017.6 (22)申请日 2022.02.21 (71)申请人 平安普惠企业管理有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 （入驻深圳市 前海商务秘书 有限公司） (72)发明人 陈昊　 (74)专利代理 机构 深圳市力道知识产权代理事 务所(普通 合伙) 44507 专利代理师 吴江维 (51)Int.Cl. G06V 10/22(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 文本识别方法、 装置、 设备及存 储介质 (57)摘要 本申请提供一种文本识别方法、 装置、 设备 及计算机可读存储介质， 该方法包括： 获取待识 别文本图像， 并进行特征提取得到第一特征矩 阵； 将第一特征矩阵输入文本识别模 型的第一特 征计算子模 型， 基于第一特征计算子模型的第一 字符特征计算路径得到字 符组合特征矩阵， 以及 基于第二字符特征计算路径得到字符特征矩阵； 根据第一特征矩阵、 字 符组合特征矩阵以及字 符 特征矩阵确定第二特征矩阵； 基于第二特征计算 子模型， 根据第一、 第二特征矩阵、 字符组合特征 矩阵、 字符特征矩阵确定目标特征矩阵； 对目标 特征矩阵进行解码得到文本排布信息。 本申请能 够提升识别的准确性以及适用于多种应用场景。 本申请还涉及区块链技术， 文本排布信息可存储 于区块链中。 权利要求书3页 说明书15页 附图4页 CN 114549816 A 2022.05.27 CN 114549816 A 1.一种文本识别方法， 其特 征在于， 包括： 获取待识别文本 图像， 以及对所述待识别文本 图像进行特征提取， 得到所述待识别文 本图像的第一特 征矩阵； 将所述第一特征矩阵输入训练好的文本识别模型的第 一特征计算子模型， 基于所述第 一特征计算子模型的第一字符特征计算路径得到所述待识别文本图像中的字符组合特征 矩阵， 以及基于所述第一特征计算子模型的第二字符特征计算路径得到所述待识别文本图 像中的字符特 征矩阵； 基于所述文本识别模型的池化子模型， 对所述第一特征矩阵、 所述字符组合特征矩阵 以及所述字符特 征矩阵进行池化处 理， 得到第二特 征矩阵； 基于所述文本识别模型的第 二特征计算子模型， 对所述第 二特征矩阵与预设的激活函 数进行非线性计算， 以及将 计算得到的矩阵与所述第一特征矩阵、 所述字 符组合特征矩阵、 所述字符特 征矩阵进行融合， 得到目标 特征矩阵； 基于所述文本识别模型的解码子模型， 对所述目标特征矩阵进行解码处理， 得到所述 待识别文本图像中的文本排布信息 。 2.如权利要求1所述的文本识别方法， 其特征在于， 所述将所述第 一特征矩阵输入训练 好的文本识别模型的第一特征计算子模型， 基于所述第一特征计算子模型的第一字符特征 计算路径得到所述待识别文本图像中的字符组合特征矩阵， 以及基于所述第一特征计算子 模型的第二字符特 征计算路径得到所述待识别文本图像中的字符特 征矩阵， 包括： 基于所述第 一特征计算子模型的可训练残差层， 将所述第 一特征矩阵与第 一权重矩阵 进行矩阵相乘得到 字符组合特 征矩阵； 以及 基于所述第 一特征计算子模型的固定残差层， 将所述第 一特征矩阵与第 二权重矩阵进 行矩阵相乘得到 字符特征矩阵。 3.如权利要求1或2所述的文本识别方法， 其特征在于， 在所述基于所述文本识别模型 的池化子模型， 对所述第一特征矩阵、 所述字符组合特征矩阵以及所述字符特征矩阵进行 池化处理， 得到第二特 征矩阵之前， 还 包括： 基于所述第 一特征计算子模型的矩阵相加网络， 将所述字符组合特征矩阵和字符特征 矩阵进行矩阵相加处 理， 得到第一融合矩阵； 基于所述第一特征计算子模型的卷积网络， 对所述第一融合矩阵进行卷积处理， 得到 处理后的第一融合矩阵； 基于所述第一特征计算子模型的池化网络， 对处理后的第一融合矩阵进行下采样处 理， 得到第二融合矩阵； 基于所述第 一特征计算子模型的矩阵分裂网络， 确定所述第 二融合矩阵的第 一因子矩 阵和第二因子矩阵， 其中， 所述第一因子矩阵与所述第二因子矩阵相加得到的矩阵等于预 设参数矩阵； 所述基于所述文本识别模型的池化子模型， 对所述第一特征矩阵、 所述字符组合特征 矩阵以及所述字符特 征矩阵进行池化处 理， 得到第二特 征矩阵， 包括： 基于所述文本识别模型的池化子模型， 对所述第 一特征矩阵、 所述字符组合特征矩阵、 所述字符特征矩阵、 所述第一因子矩阵以及所述第二因子矩阵进行池化处理， 得到第二特 征矩阵。权　利　要　求　书 1/3 页 2 CN 114549816 A 24.如权利要求3所述的文本识别方法， 其特征在于， 所述基于所述文本识别模型的池化 子模型， 对所述第一特征矩阵、 所述字符组合特征矩阵、 所述字符特征矩阵、 所述第一因子 矩阵以及所述第二因子矩阵进行池化处 理， 得到第二特 征矩阵， 包括： 基于所述池化子模型的矩阵拼接层， 对所述第 一特征矩阵、 所述字符组合特征矩阵、 所 述字符特 征矩阵、 所述第一因子矩阵以及所述第二因子矩阵进行拼接， 得到第三特 征矩阵； 基于所述池化子模型的池化层， 对所述第三特征矩阵进行平均池化处理， 得到第二特 征矩阵。 5.如权利要求4所述的文本识别方法， 其特征在于， 所述基于所述池化子模型的矩阵拼 接层， 对所述第一特征矩阵、 所述字符组合特征矩阵、 所述字符特征矩阵、 所述第一因子矩 阵以及所述第二因子矩阵进行拼接， 得到第三特 征矩阵， 包括： 将所述字符组合特征矩阵和所述第一因子矩阵进行矩阵相乘处理， 得到第一结果矩 阵； 将所述字符特 征矩阵和所述第二因子矩阵进行矩阵相乘处 理， 得到第二结果矩阵； 将所述第一结果矩阵、 所述第二结果矩阵以及所述第一特征矩阵进行矩阵相加 处理， 得到第三特 征矩阵。 6.如权利要求1或2所述的文本识别方法， 其特征在于， 所述基于所述文本识别模型的 第二特征计算子模型， 对所述第二特征矩阵与预设的激活函数进行非线性计算， 以及将计 算得到的矩阵与所述第一特征矩阵、 所述字 符组合特征矩阵、 所述字符特征矩阵进 行融合， 得到目标 特征矩阵， 包括： 基于所述第二特征计算子模型的第一拼接网络， 将所述第一特征矩阵、 所述字符组合 特征矩阵、 所述字符特 征矩阵以及所述第二特 征矩阵进行拼接， 得到第三融合矩阵； 基于所述第二特征计算子模型的卷积网络， 对所述第二特征矩阵进行卷积处理， 以及 基于激活函数， 对卷积处 理后的第二特 征矩阵进行非线性计算， 得到 激活矩阵； 基于所述第二特征计算子模型的第二拼接网络， 将所述第三融合矩阵、 所述激活矩阵 以及所述第二特 征矩阵进行融合， 得到目标 特征矩阵。 7.如权利要求6所述的文本识别方法， 其特征在于， 所述基于所述第 二特征计算子模型 的第二拼接网络， 将所述第三融合矩阵、 所述激活矩阵 以及所述第二特征矩阵进 行融合， 得 到目标特征矩阵， 包括： 对所述第三融合矩阵和所述激活矩阵进行矩阵相乘处 理， 得到第三结果矩阵； 将所述第三结果矩阵与所述第二特 征矩阵进行矩阵相加处 理， 得到目标 特征矩阵。 8.一种文本识别装置， 其特 征在于， 所述文本识别装置包括： 图像特征获取模块， 用于获取待识别文本 图像， 以及对所述待识别文本 图像进行特征 提取， 得到所述待识别文本图像的第一特 征矩阵； 第一特征计算模块， 用于将所述第 一特征矩阵输入训练好的文本识别模型的第 一特征 计算子模型， 基于所述第一特征计算子模型的第一字符特征计算路径得到所述待识别文本 图像中的字符组合特征矩阵， 以及基于所述第一特征计算子模型的第二字符特征计算路径 得到所述待识别文本图像中的字符特 征矩阵； 池化处理模块， 用于基于所述文本识别模型的池化子模型， 对所述第 一特征矩阵、 所述 字符组合特 征矩阵以及所述字符特 征矩阵进行池化处 理， 得到第二特 征矩阵；权　利　要　求　书 2/3 页 3 CN 114549816 A 3