(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210697730.6 (22)申请日 2022.06.20 (71)申请人 河南大学 地址 475001 河南省开封市顺河区明伦街 85号 (72)发明人 于俊洋　李绍华　张莉博　何欣　 宋亚林　王龙葛　 (74)专利代理 机构 郑州大通专利商标代理有限 公司 41111 专利代理师 张立强 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/82(2022.01) G06V 10/42(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的改进型城市街景图像 分割方法 (57)摘要 本发明公开一种基于深度学习的改进型城 市街景图像分割方法， 包括： 基于深度学习的改 进型城市街景图像分割模型DEEPLS： 使用编码解 码的框架和ResNet101作为骨干网络， 在ASPP模 块中新增一层膨胀率为3的空洞卷积， 合并之后 的6层用并行的3 ×3卷积处理之后再用1 ×1卷积 调整通道数， 得到的特征图先2倍上采样， 输入到 CBAM注意力机制再2倍上采样， 最后和经过CBAM 注意力机制的浅层特征拼接融合得到预测图； 基 于改进型城市街景图像分割模型DEEPLS对城市 街景图像进行分割。 本发明能获取更精细的前景 细节信息， 提升城市街景图像分割效果。 权利要求书2页 说明书6页 附图1页 CN 115035299 A 2022.09.09 CN 115035299 A 1.一种基于深度学习的改进型城市街景图像分割方法， 其特 征在于， 包括： 步骤1， 基于深度学习构 建改进型城市街景图像分割模型DEEPLS： 使用编码解码的框架 和ResNet101作为骨干网络， 在空洞空间金字塔池化模块中新增一层膨胀率为3的空洞卷 积， 合并之后的6层用并行的3 ×3卷积处理之后再用1 ×1卷积调整通道数， 得到的特征图先 2倍上采样， 输入到CBAM注意力机制再2倍上采样， 最后和经过CBAM注意力机制的浅层特征 拼接融合得到预测图； 步骤2， 基于改进型城市街景图像分割模型DE EPLS对城市街景图像进行分割。 2.根据权利要求1所述的一种基于深度学习的改进型城市街景图像分割方法， 其特征 在于， 改进后的空洞空间金字塔池化模块的处 理流程如下： 首先将经过骨干网络ResNet ‑101得到通道数为2048的特征图， 分别进行1 ×1卷积， 空 洞率分别为{3,6,12,18}的空洞卷积以及 全局平均池化， 得到6个通道数为256的特征图， 将 得到的6个特征图在通道维度上拼接融合后， 获得改进后的空洞空间金字塔池化模块产生 的特征图。 3.根据权利要求1所述的一种基于深度学习的改进型城市街景图像分割方法， 其特征 在于， 所述步骤1还包括： 在空洞空间金字塔池化模块后加入双通道以获取城市街景图像细 节信息， 其中第一 通道为一个3×3卷积， 第二 通道为两个3 ×3卷积。 4.根据权利要求3所述的一种基于深度学习的改进型城市街景图像分割方法， 其特征 在于， 按照如下 方式基于双通道获取图像细节信息： 将改进后的空洞空间金字塔池化模块中得到的6层拼接特征图作为输入， 分为两个通 道进行特征提取， 第一通道中的3 ×3卷积将1536通道数直接调整为256， 第二通道中的第一 个3×3卷积将通道数1536调整为512， 再送入第二通道中的第二个3 ×3卷积中， 继续卷积调 整为256， 得到的两层特 征图拼接后， 进行1 ×1卷积。 5.根据权利要求1所述的一种基于深度学习的改进型城市街景图像分割方法， 其特征 在于， 所述 步骤1还包括： 将经过骨干网络特征提取后的变为原图1/4大小的特征图直接输入到解码器部分， 变 为原图1/16大小的特 征图先进行空洞卷积 操作再输入到解码器部分； 在解码器部分， 将变为原图1/4大小的特征图先输入到CBAM注意力机制中， 再传入到空 间注意力机制中进行学习， 经过注意力机制处理的特征图再进行1 ×1卷积； 将变为原图1/ 16大小的特征图先进行2倍上采样， 得到原图1/8大小的特征图， 之后输入到CBAM注意力机 制再进行2倍上采样， 扩大到原图1/4大小， 同时在两次上采样中间添加注意力机制。 6.根据权利要求1所述的一种基于深度学习的改进型城市街景图像分割方法， 其特征 在于， 所述 步骤2包括： 步骤2.1， 将固定大小的城市街景图像输入到改进型城市街景图像分割模型DE EPLS中； 步骤2.2， ResNet101网络对该图像进行预处理， 提取图像有用信息生成特征图像， 再分 别传输给改进后的空洞空间金字塔池化模块和解码器部分； 步骤2.3， 进入改进后的空洞空间金字塔池化模块中的特征图分为6部分进行空洞卷 积、 全局平均池化操作提取特征， 并将提取的6层特征拼接后输入双通道， 分流继续提取深 层特征信息， 最后经过1 ×1卷积进行多尺度融合， 得到原始城市街景图像1/16大小的特征 图， 并输入到解码器部分；权　利　要　求　书 1/2 页 2 CN 115035299 A 2步骤2.4， 将步骤2.2中进入解码器部分的特征 图输入到CBAM注意力机制， 再进行1 ×1 卷积提取浅层特 征， 得到原 始城市街景图像1/4大小的浅层特 征图； 步骤2.5， 经过编码器结构处理的特征图通过双线性插值进行2倍上采样操作， 输入到 CBAM注意力机制之后再进行2倍上采样， 得到原始城市街景图像1/4大小的特征图， 之后和 步骤2.4中浅层特 征图拼接融合， 获得融合后的特 征图； 步骤2.6， 对融合后的特征图4倍上采样恢复到原始城市街景图像大小， 输出预测图， 完 成图像分割。权　利　要　求　书 2/2 页 3 CN 115035299 A 3