(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211306355.4 (22)申请日 2022.10.24 (71)申请人 中国矿业大 学 （北京） 地址 100083 北京市海淀区学院路丁1 1号 (72)发明人 杜守航　邢江河　王绍宇　李军　 张成业　李炜　 (74)专利代理 机构 成都华辰智合知识产权代理 有限公司 513 02 专利代理师 秦华云 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种单视遥感影像高度估计和语义分割多 任务预测方法 (57)摘要 本发明公开了一种单视遥感影像高度估计 和语义分割多任务预测方法， 其方法包括： A、 构 建多任务网络模型； B、 采集高分辨率光学遥感影 像样本并得到样本数据集； C、 将样本数据集中的 光谱空间特征影像块输入多任务网络模型中； D、 采集待预测的高分辨率光学遥感影像并裁剪成 光谱空间特征影像块输入训练后的多任务网络 模型， 分别加权计算得到高度估计预测结果DSM 和语义分割预测结果SS。 本发明多尺度残差及可 变形卷积网络能够实现多尺度特征提取， 并 能克 服各类地物的复杂、 异质和尺度差异大等问题， DSM与语义分割生成 网络分别利用混合特征和优 选特征进行DSM估计与语义分割， 最终得到高精 度的地物D SM估计结果与语义分割结果。 权利要求书3页 说明书9页 附图7页 CN 115546649 A 2022.12.30 CN 115546649 A 1.一种单视 遥感影像高度估计和语义分割多任务预测方法， 其特 征在于： 其方法包括： A、 构建多任务网络模型， 多任务网络模型包括多尺度残差及可变形卷积网络、 DSM与语 义分割生成网络； B、 采集高分辨率光学遥感影像样本并裁剪成相同大小的光谱空间特征影像块作为样 本数据集， 光谱空间特 征影像块含有12个特 征信息； C、 将样本数据集中的光谱空间特 征影像块输入多任务网络模型中； C1、 多尺度残差及可变形卷积网络包括四个多尺度残差及可变形卷积单元， 每个多尺 度残差及可变形卷积单元包括多尺度 残差卷积模块和可变形卷积模块， 多尺度残差卷积模 块包括多尺度Conv  block模块和多尺度Identity  block模块， 可变形卷积模块的卷积核大 小为3×3卷积且包含18个偏移 量； 光谱空间特征影像块经过维度提升后得到特征图A； 将特 征图A输入到第一个多尺度残差及可变形卷积单元得到多尺度特征图A； 将多尺度特征图A 输入第二个多尺度 残差及可变形卷积单元得到多尺度特征图B， 将多尺度特征图B输入第三 个多尺度 残差及可变形卷积单元得到多尺度特征图C， 将多尺度特征图C输入第四个多尺度 残差及可变形 卷积单元得到多尺度特 征图D； C2、 构建具有捕获空间关系 注意力的DULR模块， 通过DULR模块对多尺度特征图D进行跳 跃连接与卷积拼接得到 混合特征D， DUL R模块对多尺度特征图C进 行跳跃连接并与混合特征 D进行卷积、 上采样得到的特征拼接得到 混合特征C， DULR模块对多尺度特征图B 进行跳跃连 接并与混合特征C进行卷积、 上采样得到的特征图进行拼接得到混合特征B， DULR模块对多 尺度特征图A进行跳跃连接并与混合特征B 进行卷积、 上采样得到的特征图进 行拼接得到混 合特征A； C3、 DSM与语义分割生成网络中构 建有回归器和分类器， 通过 回归器处理混合特征A～D 得到基于混合特征 的高度估计结果A， 通过分类器处理混合特征A～D得到基于混合特征 的 语义分割结果A； C4、 DSM与语义分割生成网络中构建有特征优选模块和特征深度融合模块， 其中特征优 选模块由门控卷积自编码 器构成， 门控 卷积自编码器从混合特征A～D分别筛选得到四层适 合高度估计任务的优选特征、 四层适合语义分割任务的优选特征， 特征深度融合模块对四 层适合高度估计任务的优选特征、 四层适合语义分割任务的优选特征分别进 行深度融合处 理得到高度估计深度融合优选特 征和语义分割深度融合优选特 征； C5、 通过回归器处理高度估计深度融合优选特征得到基于优选特征的高度估计结果B， 通过分类 器处理语义分割深度融合优选特 征得到基于优选特 征的语义分割结果B； C6、 构建多任务网络模型的损失函数L， 公式如下： L＝ω1LDSM1+ω2LDSM2+ω3LSS3+ω4LSS4， 且ω1+ω2＝1， ω3+ω4＝1； 其中LDSM1为基于优选特 征进行高度估计结果B相关的损失函数， LDSM2为基于混合特征进行 高度估计结果A相关的损 失函数， LSS3为基于优选特征进 行语义分割结果B相关的损失函数， LSS4为基于混合特征进行 语义分割结果A相关的损失函 数， ω1为损失函数LDSM1的权重， ω2为损失函 数LDSM2的权重， ω3 为损失函数LSS3的权重， ω4为损失函数LSS4的权重； 设定多任务网络模型的迭代训练次数， 每次迭代训练利用梯度 下降算法降低模型损失 值并同时优化模型参数， 得到训练后的多任务网络模型； D、 采集待预测的高分辨率光学遥感影像并裁剪成光谱空间特征影像块输入训练后的权　利　要　求　书 1/3 页 2 CN 115546649 A 2多任务网络模型， 分别加权计算得到高度估计预测结果D SM和语义分割预测结果S S； DSM＝ω10DSM1+ω20DSM2 SS＝ω30SS1+ω40SS2 ω10、 ω20、 ω30、 ω40为训练后多任务网络模型的权 重参数。 2.按照权利要求1所述的一种单视遥感影像高度估计和语义分割多任务预测方法， 其 特征在于： 方法B中光谱空间特征影像块方法如下： 采集的高分辨率光学遥感影像样本经光 谱特征分析处理得到光谱特征影像， 光谱 特征影像包含R、 G、 B、 NIR四个光谱波 段特征信息， 利用灰度共生矩阵方法对光谱特征影像处理得到空间特征影像， 空间特征影像包含均值、 方差、 同质性、 对比度、 差异 性、 熵、 角二阶矩、 相关性八个纹理特征信息， 将光谱特征影像与 空间特征影像进行合成得到光谱空间特征影像， 然后进行裁剪， 裁剪后光谱空间特征影像 块大小为512 ×512像素， 通道数为12。 3.按照权利要求1或2所述的一种单视遥感影像高度估计和语义分割 多任务预测方法， 其特征在于： 方法B中采集的高分辨率光学遥感影像样本对应获取语义标签数据、 DSM标签 数据构成标签文件， 语义标签数据为利用ArcGIS软件标注的地物类别标签， DSM标签数据通 过LiDAR点云数据或立体影像密集匹配生成， 标签文件随光谱空间特征影像块对应裁剪划 分并关联存储样 本数据集中； 还包括对样本数据集进 行包括翻转、 镜像、 添加高斯噪声方法 在内的增量处 理。 4.按照权利要求1或2所述的一种单视遥感影像高度估计和语义分割 多任务预测方法， 其特征在于： 方法C1 中多尺度Conv  block模块通过一条主路和一条跳跃连接通道进行特征 融合处理， 然后通过ReLU激活函数处理输出， 主路包括一个1 ×1卷积层和一个多尺度特征 提取模块， 多尺度特征提取模块包含四个卷积层和一个全局平均池化层， 四个卷积层的卷 积核大小均为3、 步长均为1， 跳跃连接通道包括一个卷积核为 1×1、 步长为2的卷积层； 多尺 度Identity  block模块通过一条主路和一条跳跃连接通道进行特征融合处理， 然后通过 ReLU激活函数处理输出， 主路包括一个1 ×1卷积层和一个多尺度特征提取模块， 多尺度特 征提取模块包含四个卷积层和一个全局平均池化层， 四个卷积层的卷积核 大小均为3、 步长 均为1； 多尺度Conv  block模块与多尺度Identity  block模块通过堆积连接与可变形卷积 模块共同构成多尺度残差及可变形 卷积单元。 5.按照权利要求1或2所述的一种单视遥感影像高度估计和语义分割 多任务预测方法， 其特征在于： 方法C2中DULR模块处理方法如下： DULR模块分别从特征图的下、 上、 右、 左四个 方向按顺序依 次进行空间关系挖掘， 每个方向空间关系挖掘方法如下： 对特征图沿行或列 进行依次切片， 然后使用卷积操作对每层切片进行计算， 生成的新的特征图不直接作为输 出， 而是与下一个切片的特征进 行加和， 以生 成一个新的特征切片作为该层切片的输出， 依 次类推完成所有层切片的输出； 上一个方向的输出作为下一个方向输入进行空间关系挖 掘。 6.按照权利要求1或2所述的一种单视遥感影像高度估计和语义分割 多任务预测方法， 其特征在于： 方法C 6中损失函数LSS3、 LSS4的公式如下： 其中， 为像元i对应 的真实类别， yi为像元 i对应的模型 预测类别， N 为像元总数。权　利　要　求　书 2/3 页 3 CN 115546649 A 3