(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210033853.X (22)申请日 2022.01.12 (71)申请人 北京有竹居网络技 术有限公司 地址 101299 北京市平谷区林荫北街13号 信息大厦802室 (72)发明人 毛晓飞　黄灿　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 代理人 贺晓蕾 (51)Int.Cl. G06V 20/62(2022.01) G06V 30/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 文本特征提取方法、 装置、 可读介质及电子 设备 (57)摘要 本公开涉及一种文本特征提取方法、 装置、 可读介质及电子设备， 该方法通过获取目标图 像， 该目标图像中包括目标文本； 将该目标图像 输入预设特征提取模型中， 以使该预设特征提取 模型输出该目标文本对应的目标文本特征， 通过 使该目标编码器中不同模块的输入端与输出端 之间建立耦合关系， 能够显著保留更多的原始特 征中的信息， 同时能够融合各个模块提取的显著 特征， 从而能够得到更全面， 更准确的文本 特征， 有利于为后期的文本识别提供 可靠的数据依据。 权利要求书3页 说明书14页 附图4页 CN 114429627 A 2022.05.03 CN 114429627 A 1.一种文本特 征提取方法， 其特 征在于， 所述方法包括： 获取目标图像， 所述目标图像中包括目标文本； 将所述目标图像输入预设特征提取模型中， 以使所述预设特征提取模型输出所述目标 文本对应的目标文本特征； 所述预设特征提取模型包括至少一个目标编码器， 所述 目标编 码器包括： 第一前馈神经网络模块， 第一求和模块， 注 意力模块， 第二求和模块， 卷积网络模 块， 第三求和模块， 第二前馈神经网络模块和第四求和模块； 其中， 所述第 一前馈神经网络层的输入端分别与 所述第四求和模块的输入端和所述第 一求和模块的输入端耦合， 所述第一求和模块的输入端还与所述第一前馈神经网络模块的 输出端耦合， 所述第一求和模块的输出端与所述注意力模块的输入端和所述第二求和模块 的输入端耦合， 所述第二求和模块的输入端还与所述注意力模块的输出端耦合， 所述第二 求和模块的输出端与所述第四求和模块的输入端， 所述卷积网络模块的输入端以及所述第 三求和模块的输入端耦合， 所述第三求和模块的输入端还与所述卷积网络模块的输出端耦 合， 所述第三求和模块的输出端与所述第二前馈神经网络模块的输入端和所述第四求和模 块的输入端耦合， 所述第四求和模块的输入端还与所述第二前馈神经网络模块的输出端耦 合， 所述第四求和模块的输出端作为所述 目标编码器的输出端， 所述第一前馈神经网络模 块的输入端作为所述目标编码器的输入端。 2.根据权利要求1所述的方法， 其特 征在于， 所述预设特 征提取模型用于： 获取所述目标文本对应的词向量序列， 并将所述词向量序列输入所述目标编码器； 通过所述目标编码器中的所述第一前馈神经网络模块对所述词向量序列进行特征提 取以得到第一特 征序列； 通过所述第 一求和模块对所述第 一特征序列与 所述词向量序列进行求和处理， 以得到 第二特征序列； 通过所述注意力模块对所述第 二特征序列进行注意力 计算， 以得到所述目标文本对应 的注意力特 征序列； 通过所述第 二求和模块获取所述注意力特征序列与所述第 二特征序列进行求和处理， 以得到第三特 征序列； 通过所述卷积网络模块对所述第 三特征序列进行特征提取， 以得到所述目标文本对应 的局部特 征序列； 通过所述第 三求和模块对所述局部特征序列和所述第 三特征序列进行求和处理， 以得 到第四特 征序列； 通过所述第 二前馈神经网络模块对所述第四特征序列进行特征提取， 已得到第五特征 序列； 通过所述第四求和模块对所述第五特征序列， 所述第四特征序列， 所述第 三特征序列， 以及所述词向量序列进行求和处 理， 以得到待定文本特 征； 根据所述待定文本特 征确定所述目标文本对应的目标文本特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述目标编码器还包括归一化模块， 所述 根据所述待定文本特 征确定所述目标文本对应的目标文本特 征， 包括： 通过所述归一化模块对所述待定文本特征进行归一化处理， 以得到所述目标文本特 征。权　利　要　求　书 1/3 页 2 CN 114429627 A 24.根据权利要求2所述的方法， 其特征在于， 所述预设特征提取模型包括多个目标编码 器， 所述多个目标编码器依次串接； 所述根据所述待定文本特 征确定所述目标文本对应的目标文本特 征， 包括： 将所述待定文本特征作为后一个所述目标编码器的输入， 以使后 一个所述目标编码器 对所述待定文本特 征进行特征提取， 以得到更新后的所述待定文本特 征； 根据更新后的所述待定文本特 征确定所述目标文本对应的目标文本特 征。 5.根据权利要求1 ‑4任一项所述的方法， 其特 征在于， 所述第一前馈神经网络模块包括第一层归一化层， 第一全连接层， 第一激活层以及第 一dropout层， 所述第二前馈神经网络模块包括第二层归一化层， 第二全连接层， 第二激活 层以及第二dropout层； 其中， 所述第一层归一化层， 所述第一全连接层， 所述第一激活层以及所述第一 dropout层依次耦合； 所述第二层归一化层， 所述第二全连接层， 所述第二激活层以及所述 第二dropout层依次耦合。 6.根据权利要求1 ‑4任一项所述的方法， 其特 征在于， 所述注意力模块包括第三层归一化层， 多头注意力层， 位置嵌入层， 以及第三dropout 层， 其中， 所述第三层归一化层， 所述多头注意力层， 所述位置嵌入层， 以及所述第三 dropout层依次耦合。 7.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述卷积网络模块包括第四层归 一化层， 第一逐点卷积层， 第三激活层， 深度卷积层， 第四激活层， 第二逐点卷积层和第四 dropout层， 其中， 所述第四层归一化层， 所述第一逐点卷积层， 所述第三激活层， 所述深度 卷积层， 所述第四激活层， 所述第二逐点卷积层和所述第四dropout层依次耦合。 8.一种文本特 征提取装置， 其特 征在于， 所述装置包括： 获取模块， 被 配置为获取目标图像， 所述目标图像中包括目标文本； 确定模块， 被配置为将所述目标图像输入预设特征提取模型中， 以使所述预设特征提 取模型输出所述目标文本对应的目标文本特征； 所述预设特征提取模型包括至少一个目标 编码器， 所述目标编码 器包括： 第一前馈神经网络模块， 第一求和模块， 注意力模块， 第二求 和模块， 卷积网络模块， 第三 求和模块， 第二前馈神经网络模块和第四求和模块； 其中， 所述第 一前馈神经网络层的输入端分别与 所述第四求和模块的输入端和所述第 一求和模块的输入端耦合， 所述第一求和模块的输入端还与所述第一前馈神经网络模块的 输出端耦合， 所述第一求和模块的输出端与所述注意力模块的输入端和所述第二求和模块 的输入端耦合， 所述第二求和模块的输入端还与所述注意力模块的输出端耦合， 所述第二 求和模块的输出端与所述第四求和模块的输入端， 所述卷积网络模块的输入端以及所述第 三求和模块的输入端耦合， 所述第三求和模块的输入端还与所述卷积网络模块的输出端耦 合， 所述第三求和模块的输出端与所述第二前馈神经网络模块的输入端和所述第四求和模 块的输入端耦合， 所述第四求和模块的输入端还与所述第二前馈神经网络模块的输出端耦 合， 所述第四求和模块的输出端作为所述 目标编码器的输出端， 所述第一前馈神经网络模 块的输入端作为所述目标编码器的输入端。 9.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 该程序被处理装置执行 时实现权利要求1 ‑7中任一项所述方法的步骤。权　利　要　求　书 2/3 页 3 CN 114429627 A 3