(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111349899.4 (22)申请日 2021.11.15 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 申请人 广州文远知行 科技有限公司 (72)发明人 王锦萍　李军　谭晓军　石艳丽　 孙子文　王一炜　 (74)专利代理 机构 深圳市创富知识产权代理有 限公司 4 4367 代理人 高冰 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/40(2022.01) G06V 10/75(2022.01)G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/70(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 一种特征自适应互引导的多源信息融合分 类方法及系统 (57)摘要 本发明公开了一种特征自适应互引导的多 源信息融合分类方法及系统， 该方法包括： 获取 高光谱图像和激光雷达图像数据集并进行数据 预处理， 得到训练集； 基于训练集对预设的特征 自适应互引导的多源信息融合网络进行训练， 得 到训练完备的特征自适应互引导的多源信息融 合网络； 获取待测图像并基于训练完备的特征自 适应互引导的多源信息融合网络对待测图像进 行分类， 得到图像分类结果。 该系统包括： 预处理 部分、 网络训练部分和任务分类部分。 通过使用 本发明， 可以充分挖掘不同信息源 数据的特征互 补性， 兼容多种数据源类型的特征数据融合， 具 有较强的实际应用价值。 本发明可广泛应用于多 源信息分类领域。 权利要求书2页 说明书7页 附图2页 CN 114187526 A 2022.03.15 CN 114187526 A 1.一种特 征自适应互引导的多源信息融合分类方法， 其特 征在于， 包括以下步骤： 获取高光谱图像和激光雷达图像数据集并进行 数据预处 理， 得到训练集； 基于训练集对预设的特征自适应互引导的多源信 息融合网络进行训练， 得到训练完备 的特征自适应互引导的多源信息融合网络； 所述特征自适应互引导的多源信息 融合网络包括光谱 ‑空间特征学习模块、 光谱 ‑空间 互相引导模块和多模态数据融合分类模块； 获取待测图像并基于训练完备的特征自适应互引导的多源信息融合网络对待测图像 进行分类， 得到图像分类结果。 2.根据权利要求1所述一种特征自适应互引导的多源信 息融合分类方法， 其特征在于， 所述获取高光谱图像和激光雷达图像数据集并进行数据预处理， 得到训练集这一步骤， 其 具体包括： 获取覆盖地球表面相同区域的高光谱图像及其对应的激光雷达图像； 对高光谱图像进行降维， 得到低维度主成分的高光谱图像； 根据高光谱图像和激光雷达图像构建训练样本对， 并结合真实标签构建训练集。 3.根据权利要求2所述一种特征自适应互引导的多源信 息融合分类方法， 其特征在于， 所述基于训练集对预设的特征自适应互引导的多源信息融合网络进行训练， 得到训练完备 的特征自适应互引导的多源信息融合网络这 一步骤， 其具体包括： 基于光谱 ‑空间特征学习模块对高光谱图像进行Involution算子特征学习操作， 对高 光谱图像和激光雷达图像的空间结构进行融合， 提取 得到光谱特 征信息和空间特 征信息； 基于光谱 ‑空间互相引导模块对光谱特征信息和 空间特征信息进行多尺度特征提取， 得到低层特 征、 中层特 征和高层特 征； 基于多模态数据融合分类模块将低层特征、 中层特征和高层特征按权重计算概率分 类， 得到训练分类结果； 根据训练分类结果和真实标签调 整网络参数， 得到训练完备的特征自适应互引导的多 源信息融合网络 。 4.根据权利要求3所述一种特征自适应互引导的多源信 息融合分类方法， 其特征在于， 所述光谱 ‑空间特征学习模块包括光谱特征提取器、 光谱权重编码器和自适应空间权重编 码器， 所述基于光谱 ‑空间特征学习模块对高光谱图像进 行Involution算子特征学习操作， 对高光谱图像和激光雷达图像的空间结构进 行融合， 提取得到光谱特征信息和空间特征信 息这一步骤， 其具体包括： 基于光谱特 征提取器对高光谱图像进行处 理， 得到主 要特征； 光谱权重编码器采用Involution方法进行卷积核生成， 并结合主要特征得到光谱特征 信息； 自适应空间权重编码器按照预设权重对高光谱 图像和激光雷达图像的空间结构进行 自适应空间融合， 并结合主 要特征得到空间特 征信息。 5.根据权利要求4所述一种特征自适应互引导的多源信 息融合分类方法， 其特征在于， 所述基于光谱 ‑空间互相引导模块对光谱特征信息和空间特征信息进行多尺度特征提取， 得到低层特 征、 中层特 征和高层特 征这一步骤， 其具体包括： 将光谱特 征信息和空间特 征信息进行张量串联操作， 得到低层局部纹 理特征；权　利　要　求　书 1/2 页 2 CN 114187526 A 2基于第一SSM单元对光谱特征信息和和空间特征进行整合和特征提取， 得到中层可解 释特征； 基于第二S SM单元对中层可解释特 征进行再提取， 得到高层全局语义特 征。 6.根据权利要求5所述一种特征自适应互引导的多源信 息融合分类方法， 其特征在于， 所述基于多模态数据融合分类模块将低层特征、 中层特征和高层特征按权重计算概率分 类， 得到训练分类结果 这一步骤， 其具体包括： 基于维度匹配函数进行低层局部纹理特征、 中层可解释特征和高层全局语义特征的特 征图维度匹配， 并按维度融合， 得到融合特 征张量； 将融合特 征按预设权 重转换为 最终融合特 征； 将最终融合特 征输入至多模态数据融合分类模块， 得到训练分类结果。 7.根据权利要求6所述一种特征自适应互引导的多源信 息融合分类方法， 其特征在于， 所述根据训练分类结果和真实标签调整网络参数的损失计算公式如下： 上式中， on e_hot(·)表示热概率构造 函数， 表示按元素张量乘法运算， 表示训练分 类结果， yi表示真实标签， n+＝0.9， n‑＝0.1， μ表示超参数， max( ·)用于寻找最大值。 8.一种特 征自适应互引导的多源信息融合分类系统， 其特 征在于， 包括： 预处理部分， 用于获取高光谱图像和激光雷达 图像数据集并进行数据预处理， 得到训 练集； 网络训练部分， 基于训练集对预设的特征自适应互引导的多源信息融合网络进行训 练， 得到训练完备 的特征自适应互引导的多源信息融合网络， 所述特征自适应互引导的多 源信息融合网络包括光谱 ‑空间特征学习模块、 光谱 ‑空间互相引导模块和多模态数据融合 分类模块； 任务分类部分， 用于获取待测图像并基于训练完备的特征自适应互引导的多源信 息融 合网络对待测图像进行分类， 得到图像分类结果。权　利　要　求　书 2/2 页 3 CN 114187526 A 3