(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210151148.X (22)申请日 2022.02.15 (71)申请人 华南理工大 学 地址 510641 广东省广州市天河区五山路 381号 (72)发明人 伍思航　金连文　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 郑宏谋 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于集合预测的文本检测方法、 系统、 装置及介质 (57)摘要 本发明公开了一种基于集合预测的文本检 测方法、 系统、 装置及介质， 其中方法包括： S1、 预 设查询向量； S2、 利用神经网络对包含文本的图 片进行特征提取， 通过 感兴趣区域池化对齐机制 映射每个所述查询向量对应的文本区域高维特 征向量； S3、 对查询向量进 一步编码， 获得加强查 询向量； S4、 将所述加强查询向量与所述文本区 域高维特征向量进行联合解码， 输入到共享的多 层全连接感知器， 解析获得每个查询向量所编码 的文本检测结果； S5、 重复步骤S2 至S4若干次， 迭 代得到更准确的文本检测结果。 本发 明采用级 联 的结构迭代预测， 在文本行尺度变化剧烈， 密集， 变形等情况下， 检测结果依然精确， 可广泛应用 于模式识别与人工智能技 术领域。 权利要求书2页 说明书7页 附图3页 CN 114565789 A 2022.05.31 CN 114565789 A 1.一种基于集 合预测的文本检测方法， 其特 征在于， 包括以下步骤： S1、 预设查询向量， 每个所述查询向量编码一条文本的检测结果， 所述检测结果包括文 本的分类置信度、 矩形边界框坐标位置以及文本区域的分割掩码； S2、 利用神经网络对包含文本的图片进行特征提取， 通过感兴趣区域池化对齐机制映 射每个所述查询向量对应的文本区域高维特 征向量； S3、 对查询向量进一 步编码， 获得加强查询向量； S4、 构建基于动态卷积的解码器， 将所述加强查询向量与所述文本区域高维特征向量 进行联合解码， 输入到共享的多层全连接感知器， 解析获得每个查询向量所编码的文本检 测结果； S5、 重复步骤S2至S4若干次， 迭代得到更准确的文本检测结果， 在训练阶段中， 每次重 复过程， 对检测结果和标注真实值计算损失优化神经网络模型， 在测试阶段将最后重复过 程的输出作为 最终结果。 2.根据权利要求1所述的一种基于集合预测的文本检测方法， 其特征在于， 所述预设查 询向量， 包括： 根据所使用数据集的应用场景， 统计出单张图片最大可能出现的文本实例数上限， 作 为查询向量的个数； 设定查询向量的维度大小， 初始化 查询向量所编码的文本边界框大小和位置 。 3.根据权利要求1所述的一种基于集合预测的文本检测方法， 其特征在于， 所述利用神 经网络对包含文本的图片进行特征提取， 通过感兴趣区域池化对齐机制映射每个所述查询 向量对应的文本区域高维特 征向量， 包括： 利用预设的主干神经网络模型对原始包含文本的图片进行特征提取， 并使用特征融合 模块进行多尺度特 征融合； 结合查询向量所编码的文本块大小和位置， 通过感兴趣区域池化对齐机制， 映射得到 每查询向量所编码的文本边界框对应的文本区域高维特 征向量。 4.根据权利要求1所述的一种基于集合预测的文本检测方法， 其特征在于， 所述对查询 向量进一 步编码， 获得加强查询向量， 包括： 利用基于自注意力机制的编码器对查询向量进一 步编码， 获得加强查询向量。 5.根据权利要求4所述的一种基于集合预测的文本检测方法， 其特征在于， 所述利用基 于自注意力机制的编码器对查询向量进一 步编码， 获得加强查询向量， 包括： 利用包含自注意力机制的Transformer  Encoder模块， 将每个查询向量作为一个 Token， 输入到Transformer  Encoder模块中， 对所有查询向量进行多次自注意力编码， 增加 每个查询向量关注图片中不同实例的能力， 得到特 征更丰富的加强查询向量。 6.根据权利要求1所述的一种基于集合预测的文本检测方法， 其特征在于， 所述步骤 S4， 包括： 构建基于动态卷积的解码器， 使用全连接层扩展查询向量的维度， 将查询向量对应的 文本区域高维特征， 与查询向量进行特征融合， 融合后的特征输入到共享的多层全连接感 知器， 解析 得到每个查询向量所编码的文本检测结果； 其中， 文本检测结果包括文本分类的置信度， 矩形边界框坐标位置和文本区域的分割 掩码。权　利　要　求　书 1/2 页 2 CN 114565789 A 27.根据权利要求1所述的一种基于集合预测的文本检测方法， 其特征在于， 步骤S5 中所 述对检测结果和标注真实值计算损失优化神经网络模型的步骤， 具体为： 使用基于集合预测的二分图匹配机制， 对检测结果和标注真实值计算损失优化神经网 络模型。 8.一种基于集 合预测的文本检测系统， 其特 征在于， 包括： 数据预设模块， 用于预设查询向量， 每个所述查询向量编码一条文本的检测结果， 所述 检测结果包括文本的分类置信度、 矩形边界框坐标位置以及文本区域的分割掩码； 特征映射模块， 用于利用神经网络对包含文本的图片进行特征提取， 通过感兴趣区域 池化对齐机制映射每 个所述查询向量对应的文本区域高维特 征向量； 向量编码模块， 用于对查询向量进一 步编码， 获得加强查询向量； 联合解码模块， 用于构建基于动态卷积的解码器， 将所述加强查询向量与所述文本区 域高维特征向量进行联合解码， 输入到共享的多层全连接感知器， 解析获得每个查询向量 所编码的文本检测结果； 迭代训练模块， 用于由特征映射模块、 向量编码模块和联合解码模块重复执行若干次， 迭代得到更准确的文本检测结果， 在训练阶段中， 每次重复过程， 对检测结果和标注真实值 计算损失优化神经网络模型， 在测试阶段将最后重复过程的输出作为 最终结果。 9.一种基于集 合预测的文本检测装置， 其特 征在于， 包括： 至少一个处 理器； 至少一个存 储器， 用于存 储至少一个程序； 当所述至少一个程序被所述至少一个处理器执行， 使得所述至少一个处理器实现权利 要求1‑7任一项所述方法。 10.一种计算机可读存储介质， 其中存储有处理器可执行的程序， 其特征在于， 所述处 理器可执行的程序在由处 理器执行时用于执 行如权利要求1 ‑7任一项所述方法。权　利　要　求　书 2/2 页 3 CN 114565789 A 3