(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210792289.X (22)申请日 2022.07.05 (71)申请人 长沙理工大 学 地址 410114 湖南省长 沙市天心区万家丽 路二段96 0号 (72)发明人 周书仁　晏周荃　康坦　 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/52(2022.01) (54)发明名称 一种基于残差特征优化和注意力机制的图 像分割方法 (57)摘要 本申请涉及一种基于残差特征优化和注意 力机制的图像分割方法。 所述方法包括： 首先本 专利考虑了由于细节特征提取不充分的问题， 下 采样过程丢失的信息不能通过上采样来完全恢 复， 我们存储了下采样后图片与原始图片的差 异， 对图像进行了更精确、 更灵活的提取， 提高了 模型的鲁棒性； 针对主干网络中提取到的特征没 有注意到 特征间和特征内的关系， 加入空间及通 道注意力机制， 提取特征间的关系。 该方法充分 利用编码器提取的多尺度特征图， 将细节特征和 全局特征相结合， 能够适应分割图像目标复杂多 变的特点， 构建了一种新的有效的用于语义分割 的方法， 为实际应用中的语义分割提供更为高效 的框架。 权利要求书2页 说明书5页 附图3页 CN 115311454 A 2022.11.08 CN 115311454 A 1.一种基于残差特 征优化和注意力机制的图像分割方法， 其特 征在于， 包括以下 方法： 获取高分辨 率的图像， 以及对所述图像进行 标注， 得到训练、 验证、 测试样本； 构建一种基于残差特征优化和注意力 机制的图像分割网络， 所述分割网络包括主干网 络、 基于双重注意力机制的图像 语义编码器以及基于特 征残差模块的解码器； 所述输入网络用于将所述训练样本输入主干网络MobileNetV2中， 将骨干网络中提取 特征经过双重注意力机制和AS PP； 骨干网络中提取的浅层特征图减去先缩小(下采样)后再放大(上采样)的图像， 得到的 是原始像素值减去估计值得到的残差特征图， 用来存储下采样后图片与原始图片的差异。 然后将残差特 征图与浅层特 征图相加， 得到细节特 征图； 得到的特征图部分， 插入细节头以生成二分类细节标签， 然后利用二分类细节标签作 为细节特征图的引导， 引导底层学习空间细节特征； 最后在特征图部分依 次经过1×1卷积 将通道数减小； 拼接编码器得到的特征图和细节特征图； 经过3 ×3卷积， ； 上采样4倍得到最终的结果， 训练过程中用Bin ary cross entropy和 Dice Loss、 Focal  Loss、 CE Loss来联合优化细节 学习。 网络进行训练， 得到训练好的基于特征残差模块和双重注意力 机制的图像语义分割算 法模型； 获取待测试图像， 并将所述待测试图像输入到训练好的分割模型中， 得到待图像的 预测结果。 2.如权利要求1所述的基于特征残差模块和双重注意力机制的图像语义分割算法， 其 特征在于， 所述建立无 人机航拍图像数据集， 包括： 使用无人机采集 航拍图像样本； 通过图像标注工具对采集的航拍图像样本进行标注， 语义分割的结果是将图像变成带 有一定语义信息的色块。 语义分割技术可以识别出每个色块的语义类别， 并给每个像素都 标注上其对应的标签； 利用标注后的航拍图片样本构建样本数据集， 将所述样本数据集划分为训练数据集、 验证集和 测试数据集， 并对所述训练数据集进行 预处理。 3.根据权利要求1所述的方法， 其特征在于， 特征提取部分所用的主干网络为 MobileNetV2。 4.根据权利要求1所述的方法， 其特征在于， 在提取主干网络特征之后， 插入了一个全 局注意机制模块： 通道注意力子模块使用3D排列来保持三维信息， 然后使用两层MLP(多层感知器)放大 跨维通道的空间依赖性， MLP是一种压缩比为r的编解码器结构， 在空间注意子模块中使用 两个卷积层进行空间信息融合。 5.根据权利要求1所述的方法， 其特征在于， 在编码器阶段， 也就是主干网络提取到的 浅层特征图之后加入一个细节特 征提取模块： 浅层特征图减去先缩小(下采样)后再放大(上采样)的图像， 用来存储下采样后图片与 原始图片的差异， 我们称之为Residualfeature， 将Residualfeature与浅层特征图相加， 得 到最终的特 征图。 6.根据权利要求5所述的方法， 其特征在于， 上述得到的特征图之后使用了一个细节引权　利　要　求　书 1/2 页 2 CN 115311454 A 2导模块来引导低层以单流方式学习空间信息， 我们对细节预测进行建模： 我们插入一个细节头， 包括一个3 ×3Conv、 BN以及ReLu， 然后是一个1 ×1卷积， 以获得 输出维度N， 该维度设置为类别数。 我们首先通过拉普拉斯算子从分割的语义真是标签生成 二分类细节标签， 然后利用二分类细节标签作为细节特征图的引导， 引导底层学习空间细 节特征， 通过细节 聚合模块从语义分割背景标签生成二进制细节背景标签。 该运算可 由二 维卷积核Laplacian卷积核和1 ×1卷积实现。 7.根据权利要求6所述的方法， 其特征在于， 在该训练过程中采用Binary  cross  entropy和Diceloss、 Focalloss来联合优化细节学习， 网络模型的训练过程是一个不断优 化损失的过程， 将当前获得的损失反馈 到网络模型中， 进行不断迭代优化。 8.基于特征残差模块和双重注意力机制的图像语义分割算法装置， 其特征在于， 所述 装置包括： 获取高分辨 率的图像， 以及对所述图像进行 标注， 得到训练、 验证、 测试样本； 构建基于特征残差模块和双重注意力 机制的图像语分割网络， 所述分割网络包括主干 网络、 基于双重注意力机制的图像 语义编码器以及基于特 征残差模块的解码器； 所述输入网络用于将所述训练样本输入主干网络MobileNetV2中， 将骨干网络中提取 特征经过双重注意力机制和AS PP； 骨干网络中提取的浅层特征图减去先缩小(下采样)后再放大(上采样)的图像， 得到的 是原始像素值减去估计值得到的差值Residual  feature， 用来存储 下采样后图片与原始图 片的差异。 然后将Residual  feature与浅层特 征图相加， 得到特 征图； 得到的特征图部分， 插入细节头以生成二分类细节标签， 然后利用二分类细节标签作 为细节特 征图的引导， 引导底层学习空间细节特 征； 训练过程中用Binary  cross entropy和D ice Loss、 FocalLoss、 CE  Loss来联合优化细 节学习； 网络进行训练， 得到训练好的基于特征残差模块和双重注意力 机制的图像语义分割算 法模型； 获取待测试图像， 并将所述待测试图像输入到训练好的分割模型中， 得到待测试图 像的预测结果。 9.一种设备， 包括存储器和 处理器， 所述存储器存储有计算机程序， 其特征在于， 所述 处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。 10.一种计算机可读存储器， 其上存储有计算机程序， 其特征在于所述计算机程序被处 理器执行时实现权利要求1至8中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115311454 A 3