(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211302977.X (22)申请日 2022.10.24 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市七 星 区金鸡路1号 (72)发明人 雷晓春　张永雅　赵佳　江泽涛　 潘奕伟　张取　唐麟　 (74)专利代理 机构 桂林市持衡专利商标事务所 有限公司 45107 专利代理师 陈跃琳 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种三分支自适应权重特征融合的语义分 割方法 (57)摘要 本发明公开一种三分支自适应权重特征融 合的语义分割方法， 其语义分割网络先采用二分 支全卷积网络进行特征提取， 再采用三分支自适 应权重融合对 特征图进行融合。 二分支特征提取 网络对不同类型的图像进行特征提取， 右分支可 对输入的原始图像进行特征提取， 左分支通过深 度转换模块把输入原始 图像变为深度图像再进 行特征提取， 不同类型图像可以提供不同感受野 实现效果更好的特征提取。 三分支自适应权重融 合方式把不同图像的空间信息和语义信息按照 像素级自适应权重的办法进行融合可以得到较 好地定位和分割效果， 并且对于物体的边界和对 小物体的分割有不 错的效果。 权利要求书3页 说明书9页 附图4页 CN 115496909 A 2022.12.20 CN 115496909 A 1.一种三分支自适应权 重特征融合的语义分割方法， 其特 征是， 包括步骤如下： 步骤1、 构建三分支自适应权 重特征融合的语义分割网络； 上述三分支自适应权重特征融合的语义分割网络包括深度转换模块、 2个卷积模块、 8 个卷积混合池化模块、 8个双通道注意力机制模块、 2个空洞 卷积金字塔模块、 6个上采样模 块、 1个权 重相加模块、 2个自适应权 重相加模块、 以及1个损失函数模块； 深度转换模块的输入和第一卷积模块的输入共同形成三分支自适应权重特征融合的 语义分割网络的输入； 第一卷积模块的输出连接第 一卷积混合池化模块的输入， 第 一卷积混合池化模块的输 出连接第一双通道注意力机制模块的输入， 第一双通道注意力机制模块的输出连接第二卷 积混合池化模块的输入， 第二卷积混合池化模块的输出连接第二双通道注意力机制模块的 输入， 第二双通道注意力机制模块的输出连接第三卷积混合池化模块的输入， 第三卷积混 合池化模块的输出连接第三双通道注意力机制模块的输入， 第三双通道注意力机制模块的 输出连接第四卷积混合池化模块的输入， 第四卷积混合池化模块的输出连接第四双通道注 意力机制模块的输入， 第四双通道注意力机制模块的输出连接第一空洞卷积金字塔模块的 输入； 第一空洞卷积金字塔模块的一个输出连接第一上采样模块的输入， 第一上采样模块 的一个输出连接第二上采样模块的输入， 第二上采样模块的输出连接第二自适应权重相加 模块的一个输入； 深度转换模块的输出连接第 二卷积模块的输入， 第 二卷积模块的输出连接第五卷积混 合池化模块的输入， 第五卷积混合池化模块的输出连接第五双通道注意力机制模块的输 入， 第五双通道注意力机制模块的输出连接第六卷积混合池化模块的输入， 第六卷积混合 池化模块的输出连接第六双通道注意力机制模块的输入， 第六双通道注意力机制模块的输 出连接第七卷积混合池化模块的输入， 第七卷积混合池化模块的输出连接第七双通道注意 力机制模块的输入， 第七双通道注意力机制模块的输出连接第八卷积混合池化模块的输 入， 第八卷积混合池化模块的输出连接第八双通道注意力机制模块的输入， 第八双通道注 意力机制模块的输出连接第二空洞卷积金字塔模块的输入； 第二空洞卷积金字塔模块的一 个输出连接第三上采样模块的输入， 第三上采样模块的一个输出连接第四上采样模块的输 入， 第四上采样模块的输出 连接第二自适应权 重相加模块的另一个输入； 第一空洞卷积金字塔模块的另一个输出和第二空洞卷积金字塔模块的另一个输出分 别连接权重相加模块的2个输入， 权重相加模块的输出连接第五上采样模块的输入； 第一上 采样模块的另一个输出、 第三上采样模块的另一个输出和 第五上采样模块的输出分别连接 第一自适应权重相加模块的3个输入； 第一自适应权重相加模块的输出连接第六个上采样 模块的输入； 第六个上采样模块的输出连接第二自适应权重相加模块的又一个输入； 第二 自适应权 重相加模块的输出 连接损失函数模块的输入； 损失函数模块的输出 形成三分支自适应权 重特征融合的语义分割网络的输出； 步骤2、 利用已分割好的样本图像集对步骤1所构建的三分支自适应权重特征融合的语 义分割网络进行深度学习， 得到三分支自适应权 重特征融合的语义分割模型； 步骤3、 将待分割的图像送入到步骤2所得到的三分支自适应权重特征融合的语义分割 模型中进行分割， 三分支自适应权 重特征融合的语义分割模型输出分割好的图片。 2.根据权利要求1所述的一种三分支自适应权重特征融合的语义分割方法， 其特征是，权　利　要　求　书 1/3 页 2 CN 115496909 A 2卷积混合池化模块包括混合池化单元、 卷积单元、 N个迭嶂卷积单元、 以及权重相加单元； 其 中N为大于等于1的正整数； 混合池化单元的输入和卷积单元的输入共同形成卷积混合池化模块的输入； 混合池化 单元的输出连接第一个迭 嶂卷积单元 的输入， N个迭 嶂卷积单元依次串联， 第N个迭 嶂卷积 单元的输出连接权重相加单元的一个输入； 卷积单元的输出连接权重相加单元的另一个输 入； 权重相加单 元的输出 形成卷积混合池化模块的输出。 3.根据权利要求2所述的一种三分支自适应权重特征融合的语义分割方法， 其特征是， 混合池化单元包括一维垂直平均池化层、 一 维水平平均池化层、 最大池化层、 以及权重相加 层； 一维垂直平均池化层的一个输入、 一维水平平均池化层的一个输入和最大池化层的一 个输入共同形成混合池化单元 的输入； 一维垂直平均池化层的输出、 一维水平平均池化层 的输出和 最大池化层的输出分别连接权重相加层的3个输入； 权重相加层的输出形成混合 池化单元的输出。 4.根据权利要求2所述的一种三分支自适应权重特征融合的语义分割方法， 其特征是， 迭嶂卷积单 元包括4个卷积层、 2个ReLu激活层、 1个BN批归一 化层、 以及2个残差相加层； 第一卷积层的输入和第 二残差相加层的一个输入形成迭嶂卷积单元的输入； 第 一卷积 层的一个输出连接第二卷积层的输入， 第二卷积层的输出连接第一ReLu激活层的输入， 第 一ReLu激活层 的输出连接第三卷积层 的输入， 第三卷积层 的输出连接BN批归一化层 的输 入， BN批归一化层的输出连接第一残差相加层的一个输入； 第一卷积层的另一个输出连接 第一残差相加层的另一个输入； 第一残差相加层的输出连接第二ReLu激活层的输入， 第二 ReLu激活层的输出连接第四卷积层的输入， 第四卷积层的输出连接第二残差相加层的另一 个输入； 第二残差相加层的输出 形成迭嶂卷积单 元的输出。 5.根据权利要求2所述的一种三分支自适应权重特征融合的语义分割方法， 其特征是， 迭嶂卷积单 元的个数N的取值范围介于1～ 20之间。 6.根据权利要求2所述的一种三分支自适应权重特征融合的语义分割方法， 其特征是， 双通道注意力机制模块包括注意力机制单 元、 转置单 元、 以及权 重相加单 元； 注意力机制单元的输入形成双通道注意力 机制模块的输入； 注意力 机制单元的一个输 出连接权重相加单元 的一个输入； 注意力机制单元 的另一个输出连接转置单元 的输入， 转 置单元的输出连接权重相加单元的另一个输入； 权重相加单元的输出形成双通道注意力机 制模块的输出。 7.根据权利要求2所述的一种三分支自适应权重特征融合的语义分割方法， 其特征是， 自适应权 重相加模块的计算方法为： PK (i,j)＝w1D1K (i,j)+w2D2K (i,j)+w3D3K (i,j) 权　利　要　求　书 2/3 页 3 CN 115496909 A 3