(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210030581.8 (22)申请日 2022.01.12 (71)申请人 南通大学 地址 226000 江苏省南 通市崇川区外环东 路999号南通大学钟秀校区 (72)发明人 刘润瑞　周侗　王瑜　王楚玲　 韩琪乐　王子龙　陶菲　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 许洁 (51)Int.Cl. G06V 20/13(2022.01) G06V 20/10(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06T 5/00(2006.01) G06T 7/13(2017.01) G06T 7/136(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一 种 基 于 通 道 - 空 间 注 意 力 和 DeeplabV3plus的遥感影 像语义分割方法 (57)摘要 本发明公开一种基于通道 ‑空间注意力和 DeeplabV3plus的遥感影像语义分割方法， 其步 骤具体为将遥感影像地物划分为建筑、 水体、 植 被、 裸地、 道路五个类别标签并对每个类别进行 掩码标注； 利用Pyhton ‑OpenCV中的Cann y边缘检 测算子强化遥感影像图片中地物类别的纹理特 征； 对DeeplabV3plus模型中的主干网络输出的 深层特征加入通道注意力和空间注 意力模块； 将 图像强化过的 图片输入改进的DeeplabV 3plus模 型进行训练； 输出遥感影像地物类别所对应的语 义信息。 该方法通过边缘检测强化地物纹理特 征， 通道‑空间注意力强化深层特征实现了遥感 影像地物类别较为精细的语义分割， 提高了原网 络模型语义分割的准确率和平均交并比。 权利要求书3页 说明书7页 附图3页 CN 114596500 A 2022.06.07 CN 114596500 A 1.一种基于通道 ‑空间注意力和DeeplabV3plus的遥感影像语义分割方法， 其特征在 于， 包括以下步骤： S1.样本采集与掩膜标注： 采集遥感影像样本， 得到原始遥感影像数据集及其对的地物 类别掩膜数据集并将其按照7∶2 ∶ 1的比例划分为训练集、 验证集和 测试集； S2.边缘检测算法强化纹理特征： 根据所述的原始遥感影像训练数据集和验证数据集， 在数据集通道构件中利用Opencv中的Canny边缘检测算子对其进行地物纹理提取， 强化遥 感地物类别的纹 理特征； S3.训练改进的DeeplabV3plus语义分割模型： 采用经过强化纹理特征处理的数据 集作 为改进的DeeplabV3plus语义分割算法模型中的输入进行训练， 即可得到训练后的 DeeplabV3plus语义分割算法模型； S4.对遥感影像进行语义分割： 将遥感影像测试集数据作为训练后的Deepl abV3plus模 型的输入， 获取 各遥感影 像的语义分割结果， 并计算 其准确率和交并比。 2.根据权利 要求1所述的一种基于通道 ‑空间注意力和 DeeplabV3plus的遥感影像语义 分割方法， 其特 征在于， 所述 步骤S1具体的： S11.采集遥感影 像样本； 首先在地理空间数据云和开放网络地图接口获取城市遥感影像； 对于获得的城市遥感 影像进行大气校正和地理配准后得到 遥感影像样本， 具体过程 为： 1)大气校正， 在遥感影像处理软件中对城市遥感影像进行大气校正， 减小云和雾对城 市遥感影 像清晰度的影响； 2)地理配准， 在A rcGIS软件中将数据转换为相应的地理坐标系， 并进行几何校正； S12.标记遥感影像样本中的各地物类型， 并进行遥感地物类型的掩膜提取； 地物类型 选择为建筑、 水体、 植被、 裸地、 道路； 以1 ‑5五个阿拉伯数字对建筑、 水体、 植被、 裸地、 道路 地物类型进行标注并进行掩膜提取； 利用lab elme工具， 绘制各地物类型的形状； 若遥感影 像存在建筑物， 则编码为1， 并提取出建筑物的形状； 若遥感影像存在水体， 则编码为2， 并提 取出水体的形状； 若遥感影像存在植被， 则编码为3， 并提取出植被的形状； 若遥感影像存在 裸地， 则编码为4， 并提取出裸地的形状； 若遥感影像存在道路， 则编码为5， 并提取出道路的 形状； 得到 5个地物类型的原 始影像数据集以及掩膜数据集； S13.按照7∶2 ∶ 1的比例划分为训练集、 验证集和 测试集。 3.根据权利 要求1所述的一种基于通道 ‑空间注意力和 DeeplabV3plus的遥感影像语义 分割方法， 其特 征在于， 所述 步骤S2的具体步骤为： S21： 将所述原始遥感影像训练数据集和验证数据集的遥感影像的尺寸统一变换为M*M 像素； S22： Canny算法采用Python ‑Opencv中的Canny模块， 参数threshold1＝100， 参数 threshold2＝200； S23： 对变换后的影像进行扭曲变换得到强化、 变换后的遥感影像训练数据集和验证数 据集。 4.根据权利 要求3所述的一种基于通道 ‑空间注意力和 DeeplabV3plus的遥感影像语义 分割方法， 其特 征在于， 所述 步骤S22中Canny算法的边 缘提取过程如下： S221： 对原始图像进行 灰度化；权　利　要　求　书 1/3 页 2 CN 114596500 A 2S222： 对图像进行高斯滤波， 其中 高斯滤波器公式如下： 上式中， h(x， y)表示(x， y)处的像元值， σ 表示方差， k表示 把滤波器维度； S223： 利用一阶偏导的有限积分计算梯度的幅值和方向， 采用Sobel算子进行梯度幅值 的计算， 其公式如下： Sx＝(a2+2a3+a4)‑(a0+2a7+a6)      (4)； Sy＝(a0+2a1+a2)‑(a6+2a5+a4)    (5)； 上式中， Sx表示X方向卷积核模板， Sy表示Y方向卷积核模板， K表示待处理点的领域点标 记矩阵， G[i， j]表示[i， j]处像元的幅值； S224： 对梯度幅值进行非极大值抑制； S225： 双阈值 算法检测 和连接边 缘。 5.根据权利 要求1所述的一种基于通道 ‑空间注意力和 DeeplabV3plus的遥感影像语义 分割方法， 其特 征在于， 所述 步骤S3具体为： S31： 构建基于通道 ‑空间注意力和De eplabV3plus的遥感影 像语义分割网络； S32： 将变换后的遥感影像训练数据 集和验证数据 集输入改进的Deepl abV3plus语义分 割网络模型中， 前向传播 获得语义分割网络模型输出的所述变换后的遥感影像样本地物类 型的形状信息； S33.利用Focal  Loss函数， 将损失值按照平均化误差进行反向传播， 调整所述改进 DeeplabV3plus语义分割网络模型的权 重， 其损失函数计算公式如下 FL＝‑(1‑pt)γlog(pt)    (6)； 上式中， FL表示损失值， log(pt)表示模型交叉熵损失函数的结果， γ表示常数， 在本实 施例中γ＝2。 S34.利用样本相似度损失函数Dice  Loss函数以减少正负样本不平衡问题， 将损失值 按照平均化误差进行反向传播调整所述改进DeeplabV3plus语义分割网络模型的权重， 得 到训练后的De eplabV3plus语义分割网络模型其损失函数计算公式如下： 权　利　要　求　书 2/3 页 3 CN 114596500 A 3