(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210969143.8 (22)申请日 2022.08.12 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 冯伟　邹欣杉　全英汇　李强　 宋怡佳　张亚丽　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 专利代理师 王丹 (51)Int.Cl. G06T 5/50(2006.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06F 16/36(2019.01) (54)发明名称 一种基于知识图谱的多源异构遥感图像融 合方法 (57)摘要 本发明公开了一种基于知识图谱的多源异 构遥感图像融合方法， 包括： 获取同一场景不同 类型的多张原始图像及多张原始图像的属性值； 获取原始图像的数量和梯度信息； 利用多种不同 的图像融合算法和同一图像融合算法不同参数 的融合模型构造图像融合算法库， 并设置属性值 标记； 将原始图像的信息和属性值与图像融合算 法库每个图像融合算法或图像融合模型的属性 值进行对比， 选取最优融合算法； 利用最优融合 算法对原始图像进行融合， 获得融合后的图像。 本发明将不同融合算法或同一融合算法的不同 参数模型以图结构的形式加以集成， 根据输入图 像性质及选定的属性定向检索最优融合方案， 获 得了更好的图像融合效果。 权利要求书2页 说明书9页 附图3页 CN 115330650 A 2022.11.11 CN 115330650 A 1.一种基于知识图谱的多源异构遥感图像融合方法， 其特 征在于， 包括： 获取待融合的同一场景不同类型的多 张原始图像及所述多 张原始图像的属性值， 所述 属性值包括图像 类型和图像中待识别的目标类型； 获取待融合的原 始图像的数量和每张原 始图像的梯度信息； 利用多种不同的图像融合算法和同一图像融合算法不同参数的融合模型构造图像融 合算法库， 并为所述图像融合 算法库每 个图像融合 算法或图像融合模型设置属性 值标记； 将所述原始图像的信息和属性值与所述图像融合算法库每个图像融合算法或图像融 合模型的属性 值进行对比， 选取最优融合 算法； 利用所述 最优融合 算法对待融合的原 始图像进行融合， 获得融合后的图像。 2.根据权利要求1所述的基于知识图谱的多源异构遥感图像融合方法， 其特征在于， 所 述图像融合算法库中的图像融合算法包括主成分分析算法、 非下采样剪切波变换算法、 曲 波变换算法、 方向可控金字塔算法和基于深层图像分解的图像融合 算法。 3.根据权利要求2所述的基于知识图谱的多源异构遥感图像融合方法， 其特征在于， 所 述基于深层图像分解的图像融合算法中设置有融合模型1、 融合模型2和融合模型3， 其中， 所述融合模型1用于多光谱图像和SAR图像的融合， 所述融合模型2用于可见光图像和 远光 红外图像的融合， 所述融合模型3用于三张不同类型图像的融合。 4.根据权利要求1所述的基于知识图谱的多源异构遥感图像融合方法， 其特征在于， 利 用多种不同的图像融合算法和同一图像融合算法不同参数的融合模型构造图像融合算法 库， 并为所述图像融合 算法库每 个图像融合 算法或图像融合模型设置属性 值标记， 包括： 利用主成分分析算法、 非下采样剪切波变换算法、 曲波变换算法、 方向可控金字塔算法 和基于深层图像分解的图像融合 算法整合在一 起构成图像融合 算法库； 选取不同类型的图像组合形成多个图像融合测试组； 利用所述多个图像融合测试组对所述图像融合算法库中的所有图像融合算法和图像 融合算法中的每个图像融合模型进行测试， 根据测试结果获得每个图像融合算法或图像融 合模型最 适合的输入图像组合类型； 利用所述测试结果对每个图像融合算法或图像融合模型进行属性值标注， 所述属性值 包括适用于当前图像融合算法或图像融合模型 的图像类型、 输入图像个数、 应用目标类型 和图像平均梯度。 5.根据权利要求3所述的基于知识图谱的多源异构遥感图像融合方法， 其特征在于， 所 述基于深层图像分解的图像融合 算法中的融合模型3具体用于： 对获取的不同类型的三个原 始图像分别获得一个低秩图像和多层的细节部分矩阵； 对所有的低秩图像进行加权平均融合， 获得融合后的低秩图像； 计算每层细节部分矩阵的融合权重并对三个原始图像的每层细节部分矩阵进行加权 融合， 得到每层融合后的细节部分图像； 对融合后的低秩图像和细节部分图像进行相加， 得到最终的融合图像。 6.根据权利要求1所述的基于知识图谱的多源异构遥感图像融合方法， 其特征在于， 对 获取的不同类型的三个原 始图像分别获得一个低秩图像和多层的细节部分矩阵， 包括： 获得每个原始图像的低秩图像； 为每个原始图像设定图像分解层数c1,c2,c3， 并根据所述图像分解层数对三个原始图权　利　要　求　书 1/2 页 2 CN 115330650 A 2像分别进行多层潜在低秩分解， 获得对应层数的细节部分矩阵； 对层数较少的细节部分矩阵进行补0， 使得所有原始图像的细节部分矩阵均为c个， c＝ max{c1,c2,c3}。 7.根据权利要求5所述的基于知识图谱的多源异构遥感图像融合方法， 其特征在于， 计 算每层细节部 分矩阵的融合权重并对三个原始图像的每层细节部分矩阵进 行加权融合， 得 到每层融合后的细节部分图像， 包括： 基于核范数计算不同原始图像的每层细节部分矩阵的融合权重， 融合权重计算公式 为： 其中， 表示第k个原始图像的第i层细节部分矩阵中第j列的权重， 表示第k个原 始图像的第i层细节部分矩阵中第j列的元素， 表示对 进行重构操作， ‖ ·‖*表示 核范数； 利用加权法获得三个原始图像每层融合后的细节部分矩阵， 从而获得c个融合后的细 节部分矩阵； 对c个融合后的细节部分矩阵分别进行图像重构， 获得c个细节图像： 其中， 表示第k个原 始图像的第i层 细节部分矩阵， R( ·)表示对 进行重构。 8.根据权利要求1至7中任一项所述的基于知识图谱的多源异构遥感图像融合方法， 其 特征在于， 将所述原始图像的信息和属性值与所述图像融合算法库每个图像融合算法或图 像融合模型的属性 值进行对比， 选取最优融合 算法， 包括： 将输入原始图像的属性值与每个图像融合算法或图像融合模型的属性值进行比较， 若 输入原始图像的属性值与 某一图像融合算法或图像融合模型所标记的属性值均相同， 则选 定当前图像融合算法或图像融合模型； 若存在差异， 则在原始图像属 性值集合中按属 性顺 序逐级对图像融合算法库中每个图像融合算法或图像融合模型进 行二元分类， 最 终选择与 输入属性 值最接近的图像融合 算法或图像融合模型。权　利　要　求　书 2/2 页 3 CN 115330650 A 3