(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221021025 5.5 (22)申请日 2022.03.04 (71)申请人 西南民族大 学 地址 610000 四川省成 都市武侯区一环路 南四段16号 (72)发明人 崔梦天　李凯　郭曌阳　余伟　 王琳　罗洪　李裕岚　赵海军　 贺春林　 (74)专利代理 机构 成都华风专利事务所(普通 合伙) 51223 专利代理师 张建宏 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/771(2022.01) G06V 10/80(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/17(2022.01) G06V 20/70(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多特征融合机制的遥感影像地物 分割方法 (57)摘要 本发明涉及一种基于多特征融合机制的遥 感影像地物分割方法， 所述地物分割方法包括： 建立基于编码器和解码器架构的深度学习模型， 将测试的图像输入到编码器中进行逐层卷积并 通过注意力机制来对低阶语义信息进行筛选， 以 突出目标特征抑制背景噪声； 解码器接收编码器 处理结果进行反卷积保留并向上传递， 在解码网 络的最终输出位置将每层单独保留的特征图与 解码网络的结果进行多特征融合， 达到提高特征 还原精度的目的， 将得到与原图像尺 寸相同的语 义标记映射到原始图像上， 实现分割结果的可视 化。 本发明通过轻量级的通道注 意力机制和深度 多特征融合机制， 充分挖掘网络的多尺度特征， 在保证了训练所需数据集大小的前提下， 充分提 高网络分割精度。 权利要求书2页 说明书5页 附图5页 CN 115527027 A 2022.12.27 CN 115527027 A 1.一种基于多特征融合机制的遥感影像地物分割方法， 其特征在于， 所述地物分割方 法包括以下步骤： 建立基于编码器和解码器架构的深度神经网络模型： S1:将测试的原始图像输入到编码器进行逐层特征提取与下采样， 并通过通道注意力 机制来对大量的底层信息进行筛选， 用以突出目标特征以及抑制背景噪声， 获取全局语义 信息； S2:解码器接收编码器处理结果进行上采样， 将每次上采样的特征图保留并单独还原 作为对解码信息的二次解析， 在解码网络的最终输出位置将单独保留的特征图与解码网络 的结果进行多特征融合， 达到提高特征还原精度的目的， 最终得到与原图像尺寸相同的语 义标记； S3:将语义标记图映射到原 始图像上， 实现分割结果的可视化。 2.根据权利要求1所述的一种基于多特征融合机制的遥感影像地物分割方法， 其特征 在于， 所述 步骤S1具体包括： 编码器由4层网络层组成， 主要负责对特征图编码， 进行信息提取， 每一层都设置了一 个普通2D卷积和一个深度可分离卷积及一个池化层第一层到第四层依 次传递每一层得到 上一层图像的1/2尺度， 将四层的输出均通过通道注意力机制进行信息筛选得到最终四个 网络层输出 特征图为{F1， F2， F3， F4}。 3.根据权利要求1所述的一种基于多特征融合机制的遥感影像地物分割方法， 其特征 在于， 所述 步骤S2具体包括： 解码网络包括四个网络层组成， 每层网络均由2个3 ×3深度可分离卷积以及一个上采 样层组成； 所述解码器的输入为所述编码器四个网络层输出的特征图{{F1， F2， F3， F4}， 利 用1×1卷积和上采样来调整相邻两阶段的特征尺寸， 并将两组特征图相加之后， 传递到下 一层网络层， 得到{U1， U2， U3， U4}， 最后将{U1， U2， U3， U4}通过3 ×3深度可分离卷积和上采 样， 使其尺寸均为原图大小， 最后将四组特 征图相加得到最终的特 征图。 4.根据权利要求1 ‑3中任意一项所述的一种基于多特征融合机制的遥感影像地物分割 方法， 其特 征在于： 所述遥感影像地物分割方法还包括设置于建立基于编码器和解码器架构的深度神经 网络模型步骤 之后的训练步骤； 所述训练步骤包括将训练好的数据及输入到神经网络模型 中进行训练， 得到最优的网络 权重。 5.根据权利要求4所述的一种基于多特征融合机制的遥感影像地物分割方法， 其特征 在于： 所述训练步骤具体包括： 数据集采用两个公开的高分辨率遥感影像数据 集:Potsdam和Vaihin gen来进行模型的 评估， 两组数据集均被 分成三部分:训练集70％,验证集20％,测试集10％； 对 数据集图像依 次进行使用大小为512 ×512的滑动框对图像进行裁剪， 保证滑动框移动的下一位置与上一 位值重叠率为75％； 采用随机缩放、 随机水平翻转和高斯噪声、 椒盐噪声干扰的预处理， 以 防止过拟合； 参数设置迭代次数epoch为100， 学习率初始化设置为0.00001,批处理设置为 2,权重衰减设置为0.0001； 损失函数选取语义分割较为通用的交叉熵损失函数为L(F， Y)＝ Loss(softmax(U(F))， Y)， 优化器选取同样语义分割任务中常用的Adam优化器进行训练， 其 中F为编码器输出 结果， U为 解码器， Y为真实标签图， L oss为交叉熵损失函数。权　利　要　求　书 1/2 页 2 CN 115527027 A 26.一种基于多特 征融合机制的遥感影 像地物分割方法， 其特 征在于： 它包括模型构建单元、 训练单元、 可视化单元； 所述模型构建单元用于建立由编码器和 解码器组成的深度神经网络模型并实现对输入的原始图像进行逐层特征提取与下采样并 通过通道注意力机制来对大量的底层信息进行筛选， 用以突出目标特征以及抑制背景噪 声， 获取全局语义信息； 并通过解码 器接收编 码器处理结果进 行上采样， 将 每次上采样的特 征图保留并单独还原做为对解码信息的二次解析(如 网络结构图中所示， 在解码网络的最 终输出位置将单独保留的特征图与解码网络的结果进 行多特征融合， 达到提高特征还原精 度的目的， 最终得到与原图像尺寸相同的语义标记； 所述训练单元所述训练单元数据集采 用两个公开的高分辨率遥感影像数据集:Potsdam和Vaihingen来进行模型的评估， 两组数 据集均被分成三部分:训练集70％,验证集20％,测试集10％； 对数据集图像依次进行使用 大小为512 ×512的滑动框对图像进行裁剪， 保证滑动框移动的下一位置与上一位值重叠率 为75％； 采用随机缩放、 随机水平翻转和高斯噪声、 椒盐噪声干扰的预 处理， 以防止过拟合； 参数设置迭代次数epoch为100， 学习率初始化设置为0.00001,批处理设置为2,权重衰减设 置为0.0001； 损失函数选取语义分割较为通用的交叉熵损失函数为L(F， Y)＝Loss(softmax (U(F))， Y)， 优化器选取同样语义分割任务中常用的Adam优化器进行训练， 其中F为编码器 输出结果， U为解码器， Y为真实标签图， Loss为交叉熵损失函数； 所述可视化单元用于将语 义标记图映射到原始图像上， 实现分割 结果的可视化； 所述可视化单元用于将语义标记图 映射到原 始图像上， 实现分割结果的可视化。权　利　要　求　书 2/2 页 3 CN 115527027 A 3