(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211037953.6 (22)申请日 2022.08.26 (71)申请人 苏州大学 地址 215000 江苏省苏州市吴中区石湖西 路188号 (72)发明人 于文博　黄鹤　沈纲祥　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 李柏柏 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/764(2022.01) G06V 10/20(2022.01) G06V 10/58(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 遥感高光谱图像与激光雷达图像融合分类 方法及装置 (57)摘要 本发明涉及一种遥感高光谱图像与激光雷 达图像融合 分类方法， 包括获取高光谱图像与激 光雷达图像， 将高光谱图像进行本征图像分解得 到本征图像和光照图像， 对于每一个高光谱本征 像元、 高光谱光照像元以及激光雷达像元， 选取 其邻域块， 使用邻域块训练多个深度网络支路， 利用拼接层将多个深度网络支路的输出进行两 两拼接， 将拼接后的输出进行多模态融合， 得到 最终输出的类别。 本发明提出的遥感高光谱图像 与激光雷达图像融合分类方法， 可以充分融合多 源遥感图像中重要判别信息， 实现对目标像元高 精度分类的目的， 充分避免融合过程中重要信息 的丢失与损耗， 减少了由于信息缺失而带来的分 类精度降低等问题。 权利要求书3页 说明书11页 附图2页 CN 115331110 A 2022.11.11 CN 115331110 A 1.一种遥感高光谱图像与激光雷达图像融合分类方法， 其特 征在于， 包括： S1： 获取高光谱图像与激光雷达图像， 两幅图像中各地物的类别为 label； S2： 将高光谱图像进行本征图像分解得到本征图像和光照图像， 对于每一个高光谱本 征像元、 高光谱光照像元以及激光雷达像元， 选取其周围尺寸为s ×s的邻域作为该像元 的 邻域块， 其中高光谱图像中每个高光谱像元的邻域块尺寸为s ×s×B， 激光雷达图像L中激 光雷达像元的邻域 块尺寸为s×s； S3： 使用邻域块训练深度网络支路L1， L2， L3， L4， L5和L6， 其中L1和L2的输入为高光谱本征 图像中的尺寸为s ×s×B的高光谱 本征像元， L3和L4的输入为激 光雷达图像中的尺寸为s ×s ×B的激光雷达像元， L5和L6的输入为高光谱光照图像 中的尺寸为s ×s×B的高光谱光照像 元， 其输出分别为O1， O2， O3， O4， O5和O6， 尺寸均为s ×s×d； S4： 利用拼接层将 深度网络支路L1， L2， L3， L4， L5和L6的输出两 两拼接， 得到O12、 O34和O56； S5： 将O34和O56输入到第1个多模态分组卷积层， 得到输出O34561， 将O34输入到第2个多模 态分组卷积层， 得到输出O34 1， 将O56输入到第3个多模态分组卷积层， 得到输出O56 1， 将O34 1、 O3456 1和O56 1输入到第4个多模态分组卷积层， 得到输出O3456 2， 将O34 1输入到第5个多模态分组 卷积层， 得到输出O34 2， 将O56 1输入到第6个多模态分组卷积层， 得到输出O56 2， 将O34 2、 O3456 2和 O56 2输入到第7个多模态分组卷积层， 得到输出 O3456 3， 将O34 2输入到第8个多模态分组卷积层， 得到输出O34 3， 将O56 2输入到第9个多模态分组卷积层， 得到输出O56 3， 将O34 3、 O3456 3和O56 3输入 到第10个多模态分组卷积层， 得到输出O3456 4， 将O12和O3456 1输入到第11个多模态分组卷积 层， 得到输出O12 1， 将O12 1和O3456 2输入到第12个多模态分组卷积层， 得到输出O12 2， 将O12 2和 O3456 3输入到第13个多模态分组卷积层， 得到输出O12 3， 将尺寸为s ×s×d的O3456 4和O12 3输入 尺寸为s×s的二维平均池化层， 得到尺寸 为1×d的O3456 5和O12 4； S6： 将O12 4和O3456 5输入拼接层得到输出O123456， 其尺寸为1 ×2d， 将O123456输入全连接层， 得到最终输出的类别为 2.如权利要求1所述的遥感高光谱图像与激光雷达图像融合分类方法， 其特征在于： 所 述步骤S1中在选取高光谱图像与激光雷达图像之后对高光谱图像与激光雷达图像进行归 一化预处理。 3.如权利要求1或2所述的遥感高光谱图像与激光雷达图像融合分类方法， 其特征在 于： 所述步骤S2中将高光谱图像进行本征图像分解得到 本征图像和光照图像的方法包括： S2.1： 计算每一个高光谱像元Hi对应的矩阵Di， 其中1≤i≤X ×Y: Di＝[H1， ...， Hi‑1， Hi+1， ...， HX×Y， IB]∈RB×(B+X×Y‑1) 其中IB为尺寸为B×B的单位矩阵； S2.2： 基于矩阵Di计算每一个高光谱像元Hi对应的向量αi： min||αi||1 s.t.Hi＝Diαi 其中αi的形状为(B+X ×Y‑1)×1； S2.3： 构建权重矩阵W∈R(X×Y)×(X×Y)， 对权重矩阵中第i行第j列的元Wij进行赋值 基于权重矩阵W计算矩阵G＝(IX×Y‑WT)(IX×Y‑W)+δIX×Y， 其中IX×Y为 尺寸为(X×Y)×(X×Y)的单位矩阵， δ 为常数， T为 转置矩阵；权　利　要　求　书 1/3 页 2 CN 115331110 A 2S2.4： 将高光谱图像H变换为二维矩阵， 并进行对数计算得到log(flatten(H))， 计算矩 阵K＝(IB‑1B1BT/B)log(flatten(H))(IX×Y‑1X×Y1X×YT/(X×Y))， 其中IB和IX×Y分别为尺寸为B ×B和(X×Y)×(X×Y)的单位矩阵， 1B和1X×Y分别为尺寸 为B×1和(X×Y)×1的全1向量； S2.5： 基于矩阵G和矩阵K计算矩阵ρ ＝δKG‑1， 基于矩阵ρ 得到由高光谱图像H分解得到的 本征图像RE＝eρ和光照图像SH＝elog(H)‑ρ， 其中e为自然常数， 两个图像的尺寸均为X ×Y×B。 4.如权利要求1所述的遥感高光谱图像与激光雷达图像融合分类方法， 其特征在于： 所 述步骤S3中深度网络支路L1， L2， L3， L4， L5和L6均包括多个二维卷积层， 每个二维卷积层中卷 积核数目均为d， 卷积核尺寸为[3， 3]， 卷积核滑动步长均为[1， 1]， 支路L2和L3共享所有权 重， 支路L4和L5共享所有权 重。 5.如权利要求1所述的遥感高光谱图像与激光雷达图像融合分类方法， 其特征在于： 所 述步骤S3中构建深度网络支路训练时的损失函数为 6.如权利要求1或4所述的遥感高光谱图像与激光雷达图像融合分类方法， 其特征在 于： 所述步骤S4中利用拼接层将深度网络支路L1， L2， L3， L4， L5和L6的输出两两 拼接， 得到O12、 O34和O56的公式为O12＝Concatenation(O1， O2)， O34＝Concatenation(O3， O4)， O56＝ Concatenati on(O5， O6)。 7.一种遥感高光谱图像与激光雷达图像融合分类装置， 其特 征在于， 包括： 数据获取模块， 其用于获取高光谱图像与激光雷达 图像， 两幅图像中各地物的类别为 label； 图像分解模块， 其用于将高光谱图像进行本征图像分解得到本征图像和光照图像， 对 于每一个高光谱本征像元、 高光谱光照像元以及激光雷达像元， 选取其周围尺寸为s ×s的 邻域作为该像元的邻域块， 其中高光谱图像中每个高光谱像元的邻域块尺寸为s ×s×B， 激 光雷达图像L中激光雷达像元的邻域 块尺寸为s×s； 深度网络训练模块， 其使用邻域块训练深度网络支路L1， L2， L3， L4， L5和L6， 其中L1和L2的 输入为高光谱 本征图像中的尺寸为s ×s×B的高光谱 本征像元， L3和L4的输入为激 光雷达图 像中的尺寸为s ×s×B的激光雷达像元， L5和L6的输入为高光谱光照图像中的尺寸为s ×s× B的高光谱光照像元， 其输出分别为O1， O2， O3， O4， O5和O6， 尺寸均为s ×s×d； 图像拼接模块， 其利用拼接层将深度网络支路L1， L2， L3， L4， L5和L6的输出两两拼接， 得 到O12、 O34和O56； 多模态融合模块， 其用于将O34和O56输入到第1个多模态分组卷积层， 得到输出O3456 1， 将 O34输入到第2个多模态分组卷积层， 得到输出O34 1， 将O56输入到第3个多模态分组卷积层， 得 到输出O56 1， 将O34 1、 O3456 1和O56 1输入到第4个多模态分组卷积层， 得到输出O3456 2， 将O34 1输入 到第5个多模态分组卷积层， 得到输出O34 2， 将O56 1输入到第6个多模态分组卷积层， 得到输出 O56 2， 将O34 2、 O3456 2和O56 2输入到第7个多模态分组卷积层， 得到输出O3456 3， 将O34 2输入到第8 个 多模态分组卷积层， 得到输出O3