(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210467444.0 (22)申请日 2022.04.29 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 袁亚　王勇　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/25(2022.01) G06V 10/80(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于掩码区域卷积神经网络的图像处 理方法及其应用 (57)摘要 本发明涉及图像识别技术领域， 公开了一种 基于掩码区域卷积神经网络的图像处理方法及 其应用， 具体为： 构建并训练掩码区域卷积神经 网络， 通过训练好的掩码区域卷积神经网络对待 检测图像中的检测目标进行定位； 所述的掩码区 域卷积神经网络包括用于提取图像特征的基于 信道洗牌的密集卷积神经网络、 用于融合图像特 征生成待检测图像特征图的特征金字塔网络、 用 于通过待检测图像特征图生成候选区域的区域 候选网络、 用于通过候选区域生成掩膜的全卷积 网络分支、 用于通过候选区域获得最终候选区域 的全连接层分支。 本发明解决现有的肺炎图像检 测方法难以对多个感兴趣区域进行检测和检测 准确性低的问题， 且具有效率高的特点。 权利要求书2页 说明书8页 附图4页 CN 115170897 A 2022.10.11 CN 115170897 A 1.一种基于掩码区域卷积神经网络的图像处理方法， 其特征在于： 具体为： 构建并训练 掩码区域卷积神经网络， 通过训练好的掩码区域卷积神经网络对待检测图像中的检测目标 进行定位； 所述的掩码区域卷积神经网络包括用于提取图像特征的基于信道洗牌的密集卷 积神经网络、 用于融合图像特征生成待检测图像特征图的特征金字塔网络、 用于通过待检 测图像特征图生成候选区域的区域候选网络、 用于通过候选区域生成掩膜的全卷积网络分 支、 用于通过候选区域获得最终候选区域的全连接层分支。 2.根据权利要求1基于掩码区域卷积神经网络的图像处理方法， 其特征在于： 训练掩码 区域卷积神经网络， 具体步骤为： S1.得到并预处理训练用待检测图像， 得到待检测图像数据集， 将待检测图像数据集随 机划分为训练用数据集和验证数据集； S2.通过迁移学习预训练基于信道洗牌的密集卷积神经网络； S3.初始化掩码区域卷积神经网络； S4.通过预训练好的基于信道洗牌的密集卷积神经网络模型提取训练数据集中的图像 特征， 并通过 特征金字塔网络融合图像特 征得到待检测图像特 征图； S5.通过待检测图像特 征图迭代训练初始掩码区域卷积神经网络； S6.通过验证数据集调整并验证训练好的掩码区域卷积神经网络 。 3.根据权利要求1基于掩码区域卷积神经网络的图像处理方法， 其特征在于： 待检测图 像通过所述基于信道洗牌的密集卷积神经网络提取特征， 通过训练好的掩码区域卷积神经 网络对待检测图像中的检测目标进行定位， 具体步骤为： A1.得到待检测图像的特 征； 将提取 特征输入特 征金子塔网络进行 特征融合； A2.将特征融合后得到的特征图输入区域候选网络得到区域候选区域网络后分别通过 全卷积网络分支得到掩膜， 通过全连接层分支得到最终候选区域； A3.结合掩膜和最终候选区域得到待检测图像的待检测图像检测目标定位预测框； 通 过检测目标定位预测框 定位检测目标。 4.根据权利要求3所述的基于掩码区域卷积神经网络的图像处理方法， 其特征在于： 初 始化掩码区域卷积神经网络， 具体为： 预设学习率和迭代次数， 并采用随机梯度下降通过待 检测图像数据集预训练掩码区域卷积神经网络 。 5.根据权利要求4所述的基于掩码区域卷积神经网络的图像处理方法， 其特征在于： 步 骤S4， 具体为： S401训练数据集中的图像通过基于信道洗牌的密集卷积神经网络的第一阶段卷积生 成特征映射图； S402.在特征映射图中将RGB三个通道中的特征部分进行有序的信息交换， 并得到基于 信道洗牌的密集卷积神经网络的输出 特征； S403.将输出特征图分别经过1 ×1卷积层和上采样处理， 并将1X1卷积后的输出特征图 与经过上采样的输出 特征图进行合并生成对应的融合前的特 征图； S404.将输出特征图和融合前的特征图通过金字塔特征网络进行多尺度融合生成待检 测图像特 征图； S405.将待检测图像特 征图进行自适应池化 生成最终的待检测图像特 征图。 6.根据权利要求5所述的基于掩码区域卷积神经网络的图像处理方法， 其特征在于： 步权　利　要　求　书 1/2 页 2 CN 115170897 A 2骤S5， 具体步骤为： S501.对训练数据集中的图像对应的最终的待检测图像特征图中的每一点采用若干种 比例不同的锚点设置预定的锚点； S502.将预定的锚点输入区域 候选网络中， 并生成候选 框； S503.结合待检测图像特 征图对候选 框进行池化； S504.池化后的候选 框通过全连接层分别进行分类和边框回归； S505.对池化后的候选 框进行全卷积 操作， 获得其对应的二 值掩码； S506.回到步骤A 1进行迭代， 直到迭代完成， 生成待检测图像检测目标定位预测框并结 束训练。 7.根据权利要求6所述的基于掩码区域卷积神经网络的图像处理方法， 其特征在于： 步 骤S502， 具体步骤为： A201.将预定的锚点经过 区域候选 网络的3X3卷积， 将卷积后的锚点是分别通过 区域候 选网络的两个分支； A202.第一个分支通过softmax激活函数将卷积后的锚点进行二值分类， 分为含有检测 目标的锚点和 不含有检测目标的锚点， 并将含有检测目标 的锚点称为前景， 将不含有检测 目标的锚点称为后景； A203.第二个分支通过计算卷积后的锚点的边界框回归偏移量获得其对应的候选区 域； A204.综合预设的各个锚点对应的前 景、 候选区域、 边界框回归， 获取最终的候选区域。 8.根据权利要求7所述的基于掩码区域卷积神经网络的图像处理方法， 其特征在于： S503， 具体步骤为： A301.将最终候选区域和其对应的待检测图像特征图的像素一一对应， 并将待检测图 像特征图和其特 征映射图一 一对应； A302.采用双线性插值来计算每个最终候选区域中的四个定期的采样位置输入特征的 精确值， 并采用最大值或平均值聚合结果， 并获得池化后的候选区域。 9.根据权利要求8所述的基于掩码区域卷积神经网络的图像处理方法， 其特征在于： 调 整并验证训练好的掩码区域卷积神经网络， 具体为： S601.将验证数据集输入训练好的掩码区域卷积神经网络， 获得训练好的掩码区域卷 积神经网络的泛化能力， 并调整相应的超参数； S602.将有定位标注待检测图像输入调整好掩码区域卷积神经网络中验证其鲁棒性， 若鲁棒性不通过则继续调整其超参数。 10.一种基于权利要求1～9任一项所述的基于掩码区域卷积神经网络的图像处理方法 的应用， 其特征在于： 所述的图像处理方法应用于肺炎图像中检测目标的定位检测， 所述检 测目标为肺炎病灶。权　利　要　求　书 2/2 页 3 CN 115170897 A 3