(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210790355.X (22)申请日 2022.07.05 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 刘志恒　陈雪梅　周绥平　余航　 张文杰　陈济轩　刘彦明　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 程晓霞　王品华 (51)Int.Cl. G06V 20/13(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) (54)发明名称 基于深度可分离卷积和跳跃连接的遥感影 像水体提取方法 (57)摘要 本发明公开了一种基于深度可分离卷积和 跳跃连接的遥感影像水体提取方法， 解决了水体 样本标注效率低， 河流支流 或小水体提取困难的 技术难题。 实现步骤包括， 获取原始遥感图像并 预处理； 用最大似然分类法得到水体标签； 裁剪 并筛选组成数据集； 图像增强； 构建基于 FASPP的 卷积网络DUPnet； 建立图像输入网络的特征提取 流程； 构建混合损失函数TCELo sss和设置训练参 数； 得到水体提取结果。 本发明构建D UPnet网络， 网络编码器使用深度可分离卷积减少特征信息 丢失； 网络的跳跃连接使用FASPP弥补采样过程 造成的特征损失； 构建TCELoss改善数据集中正 负样本不平衡的问题。 本发明用于从遥感影像中 高质量提取水体， 提高了制作遥感影像水体样本 效率和水体分割精度。 权利要求书3页 说明书14页 附图5页 CN 115131680 A 2022.09.30 CN 115131680 A 1.基于深度可分离卷积和跳跃连接的遥感影像水体提取方法， 其特征在于， 利用 Brovey变换提高图像分辨率， 通过最大似然分类法制作水体标签， 利用标准化增强图像特 征， 利用一种混合损失函数优化DUPnet网络， 使用DUPnet网络提取遥感影像水体； 包括有如 下步骤： 1)获取原始待提取遥感图像， 预处理原始待提取遥感影像： 对原始遥感影像进行预处 理， 首先， 对原始遥感影像进 行几何校正、 大气校正和辐射校正， 得到校正后的遥感影像； 其 次， 对校正后的遥感影像进行伪彩色合 成； 对伪彩色合 成影像进 行Brovey变换， 得到水体待 提取的高分辨 率遥感影 像； 2)利用最大似然分类法得到水体标签图： 利用最大似然分类法提取高分辨率遥感影像 中的水体并制作水体标签， 得到高分辨 率遥感影 像的水体标签图； 3)裁剪并筛选， 组成遥感影像水体数据集： 将水体待提取的高分辨率遥感影像和对应 的高分辨遥感影像的水体标签图分别裁剪为 128×128像素的大小的图片， 筛选裁剪后的图 片中提取精度高的水体标签图和其对应的高分辨率遥感图像组成遥感影像水体数据集， 并 划分该数据集为训练集、 验证集和 测试集； 4)图像增强， 得到增强图像数据集： 对遥感影像水体数据集中所有图像进行图像增强， 依次执行水平翻转、 随机高斯模糊和标准 化， 得到增强图像数据集； 5)设计并构建基于FASPP的卷积神经网络DUPnet： DUPnet网络包含编码器、 解码器和跳 跃连接三个部分； DUPnet的编码器采用多个密集连接模块DB和下采样模块， 其中下采样模 块使用深度可分离卷积； 网络的解码器采用多个密集连接模块DB和上采样模块， 其中上采 样模块使用反卷积； 编码 器的最末下采样模块的通过密集连接模块DB连接到解码 器的首个 上采样模块； 编码器和解码 器之间通过多个基于特征 空间金字塔池化的跳跃连接传递多尺 度特征和空间信息， 网络的输出即解码器的输出； 6)建立图像数据输入DUPnet网络的水体特征提取流程： 将训练集、 验证集所有图像输 入DUPnet编码器， 输出图像的浅层特征； 浅层特征经过DUPnet 解码器得到图像的深层特征， 其与浅层特征通过FASPP 跳跃连接获得的多尺度特征进 行融合， 得到融合特征； 最 终融合特 征由DUPnet解码器分类层处 理得到图像水体分割概 率图； 7)构建混合损失函数TCELosss和设置DUPnet训练参数获得最优网络： 通过向Tversky 指数损失函数和交叉熵损失函数Cross ‑Entropy Loss分别添加权重系数构建TCELoss混合 损失函数； 设置DUPnet训练参数包括迭代次数、 批次大小、 学习率， 得到最优DUPnet网络； 8)得到水体提取结果图： 将测试集输入最优DUPnet网络， 由解码器的分类层输出测试 集遥感影像水体分割概率图， 再将分割概率图转化， 得到原始待提取遥感 图像的水体提取 结果图。 2.根据权利要求1所述的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法， 其特征在于， 步骤2所述的利用最大似然分类法得到水体标签图， 具体是基于ENVI软件平 台， 利用最大似然分类法提取遥感影像水体， 得到遥感影像水体 分类结果， 再将该图像转为 二值图， 得到水体标签图。 3.根据权利要求1所述的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法， 其特征在于， 步骤5所述设计并构建基于FASPP的卷积神经网络DUPnet， 其中构建编码器包 括有以下步骤：权　利　要　求　书 1/3 页 2 CN 115131680 A 25a)确定网络编码器 的输入层： 采用2个3 ×3卷积层Conv和1个密集连接模块DB依次连 接作为编码器输入层； 5b)编码器输入层连接下采样卷积层： 编码器输入层依次连接多个下采样卷积层， 每个 下采样卷积层由下采样模块、 密集连接模块DB顺序连接组成； 5c)最末下采样卷积层连接下采样输出层： 最末下采样卷积层依次连接由1个下采样模 块和1个密集连接模块DB组成得下采样输出层； 其中每个下采样模块包含3 ×3空洞可分离 卷积层。 每 个DB模块由多个1 ×1卷积和3 ×3卷积顺序连接组成。 4.根据权利要求1所述的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法， 其特征在于， 步骤5所述设计并构建基于FASPP的卷积神经网络DUPnet， 其中构建解码器包 括有以下步骤： 5d)编码器的下采样输出层连接解码器的上采样输入层： 编码器的下采样输出层连接 由1个上采样模块组成的解码器的上采样输入层； 5e)解码器上采样输入层连接上采样卷积层： 解码器上采样输入层依次连接多个上采 样卷积层， 每个上采样卷积层按照 DB模块、 上采样模块顺序连接组成， 其中上采样模块使用 反卷积； 5f)最末上采样卷积层连接分类输出层： 最末上采样卷积层连接解码器的分类输出层， 其中分类输出层由密集连接模块DB和分类层顺序连接组成， 其中分类层包含多个3 ×3卷 积。 5.根据权利要求1所述的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法， 其特征在于， 步骤5所述设计并构建基于FASPP的卷积神经网络DUPnet， 其中构建跳跃连接 步骤为： 5g)编码器和解码器连接跳跃连接传递特征： 将解码器上采样结果与编码器下采样结 果中具有相同分辨率的卷积层的输出进行跳跃连接， 跳跃连接采用多个FASPP模块跳跃连 接传输多尺寸特征， 其中FASPP包含多个不同膨胀率的空洞 卷积和1个池化层组成， 池化层 选择为平均池化。 6.根据权利要求1所述的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法， 其特征在于， 步骤6所述建立图像数据输入DUPnet网络的水体特征提取流程， 包括有以下步 骤： 6a)获取浅层 特征： 对于输入的训练集、 验证集， 经过DUPnet网络编码器的网络输入层、 多个下采样卷积层， 得到多个浅层特 征； 6b)获取深层特征： 浅层特征经过下采样输出层输入到解码器上采样输入层， 得到深层 特征； 6c)获取融合特征： 深层特征与具有相同分辨率的浅层 特征通过网络跳跃连接FASPP拼 接， 得到融合特征； 将融合特征作为解码器下一个上采样卷积层的输入， 再次得到深层特 征； 根据跳跃 连接数量重复此步骤， 直至得到的融合特 征大小与输入图像尺寸大小一 致； 6d)获取分割概 率图： 融合特 征通过网络解码器的输出分类层得到分割概 率图。 7.根据权利要求1所述的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法， 其特征在于， 步骤7所述构建混合损失函数TCELoss和设置DUPnet训练参数获得最优网络， 包括有以下步骤：权　利　要　求　书 2/3 页 3 CN 115131680 A 3