(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111655709.1 (22)申请日 2021.12.3 0 (71)申请人 华智生物技 术有限公司 地址 410000 湖南省长 沙市芙蓉区合平路 618号 (72)发明人 余沛毅　龙晓波　田冰川　贾高峰　 叶昌荣　甘峰　赵健　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 代理人 马俊 (51)Int.Cl. G06V 20/10(2022.01) G06K 9/62(2022.01) G06V 10/143(2022.01) G06N 3/04(2006.01)G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于多模型特征融合的病虫害识别方 法及系统 (57)摘要 本发明公开了一种基于多模型特征融合的 病虫害识别方法及系统， 本发明通过可见光图 像、 红外图像以及高光谱图像构成模 型的训练样 本， 模型能够从高光谱图像中提取更为丰富的特 征， 从而提高识别精度， 而且将训练图像集划分 为多组子集， 预设多个相互间具有差异性的神经 网络模块， 将多组子集输入每一个神经网络模块 中， 得到每一个神经网络模块提取的多个初始特 征， 融合多个初始特征， 得到融合特征， 根据融合 特征进行分类， 神经网络模块既可以是非常深的 模型结构， 也可以是浅层或者宽尺度的神经网络 结构， 各个模型输出结果的差异性高， 提取的特 征信息更加丰富， 综合各个神经网络模块的优点 得其最优解， 提高病虫害识别模型的泛化能力。 权利要求书2页 说明书9页 附图3页 CN 114332621 A 2022.04.12 CN 114332621 A 1.一种基于多模型 特征融合的病虫害识别方法， 其特 征在于， 包括如下步骤： 获取训练图像集， 所述训练图像集包含农作物的多张可见光图像、 红外 图像以及高光 谱图像， 所述高光谱图像包括多个波段的光谱图像； 根据所述训练图像集训练预设的病虫害识别模型： 将所述训练图像集划分为多组子 集， 其中每一组所述子集均包含设定数量的可见光图像、 红外图像以及高光谱图像； 预设多 个相互间具有差异 性的神经网络模块， 将所述多组子集分别输入至每一个所述神经网络模 块中， 得到每一个所述神经网络模块提取的多个初始特征； 融合所述多个初始特征， 得到融 合特征， 根据所述融合特 征对农作物的病虫害 进行识别分类； 根据训练完成的所述病虫害识别模型对 包含农作物的目标图像进行病虫害识别。 2.根据权利要求1所述的基于多模型特征融合的病虫害识别方法， 其特征在于， 所述神 经网络模块至少包括依次设置的多路卷积神经网络、 级联层、 卷积层和Softmax层， 所述多 路卷积神经网络 至少包括数据层和多个交替分布设置的卷积层和池化层。 3.根据权利要求2所述的基于多模型特征融合的病虫害识别方法， 其特征在于， 所述融 合所述多个初始特征， 得到融合特征， 根据所述融合特征对农作 物的病虫害进 行识别分类， 包括： 拼接每一个所述神经网络模块的所述多个初始特征， 得到每一个所述神经网络模块的 拼接特征； 拼接所有所述神经网络模块的所述 拼接特征， 得到融合特 征； 将所述融合特 征输入至全连接层， 以实现对农作物的病虫害的识别分类。 4.根据权利要求2所述的基于多模型特征融合的病虫害识别方法， 其特征在于， 在所述 根据训练完成的所述病虫害识别模型对包含农作 物的目标图像进 行病虫害识别之前， 还包 括： 获取标签图像集， 所述标签图像集中包含多张具有的预设分类标签的可见光图像、 红 外图像以及高光谱图像； 将所述标签图像集输入至所述病虫害识别模型中， 得到每一个所述神经网络模块输出 的多个第一特征， 并拼接每一个所述神经网络模块的多个第一特征， 得到每一个所述神经 网络模块的第二特 征； 根据每一个所述神经网络模块的所述第 二特征， 为每一个所述神经网络模块构建相应 的模板特 征库， 所述模板特 征库包含特征与类别之间的匹配关系。 5.根据权利要求4所述的基于多模型特征融合的病虫害识别方法， 其特征在于， 所述根 据训练完成的所述病虫害识别模型对 包含农作物的目标图像进行病虫害识别， 包括： 将目标图像输入至训练完成的所述病虫害识别模型中， 得到每一个所述神经网络模块 输出的多个目标第一特征， 拼接每一个所述神经网络模块的多个目标第一特征， 得到每一 个所述神经网络模块的目标第二特 征； 计算每一个所述目标第 二特征与相应所述模板特征库中的所有特征之间的相似度， 根 据所述相似度从所述模板特 征库中选取 出所述目标第二特 征的类别匹配结果； 从所有所述目标第二特征的类别匹配结果中选取最优的所述类别匹配结果作为所述 目标图像的病虫害识别结果。 6.根据权利要求5所述的基于多模型特征融合的病虫害识别方法， 其特征在于， 根据权　利　要　求　书 1/2 页 2 CN 114332621 A 2bagging决策方法、 b oosting决策方法或stacking决策方法选取出最优的所述类别匹配结 果。 7.根据权利要求1至6任一项所述的基于多模型特征融合的病虫害识别方法， 其特征在 于， 在所述将所述训练图像集划分为多组子集之后， 还 包括： 对所述子集中的每张图像进行两次随机增强处理， 所述随机增强处理包括随机仿射变 换、 左右翻转、 上下翻转、 随机旋转、 随机裁剪、 高斯噪声变换以及随机亮度变换中的其中一 种。 8.一种基于多模型 特征融合的病虫害识别系统， 其特 征在于， 包括： 图像获取单元， 用于获取训练图像集， 所述训练图像集包含农作物的多张可见光图像、 红外图像以及高光谱图像， 所述高光谱图像包括多个波段的光谱图像； 模型训练模块， 用于根据所述训练图像集训练预设的病虫害识别模型： 将所述训练图 像集划分为多组子集， 其中每一组所述子集均包含设定数量的可见光图像、 红外图像以及 高光谱图像； 预设多个相互间具有差异性的神经网络模块， 将所述多组子集分别输入至每 一个所述神经网络模块中， 得到每一个所述神经网络模块提取的多个初始特征； 融合所述 多个初始特 征， 得到融合特 征， 根据所述融合特 征对农作物的病虫害 进行识别分类； 图像识别单元， 用于根据训练完成的所述病虫害识别模型对包含农作物的目标图像进 行病虫害识别。 9.一种电子设备， 其特征在于： 包括至少一个控制处理器和用于与所述至少一个控制 处理器通信连接的存储器； 所述存储器存储有可被所述至少一个控制处理器执行 的指令， 所述指令被所述至少一个控制处理器执行， 以使 所述至少一个控制处理器能够执行权利要 求1至7任一项所述的基于多模型 特征融合的病虫害识别方法。 10.一种计算机可读存储介质， 其特征在于： 所述计算机可读存储介质存储有计算机可 执行指令， 所述计算机可执行指 令用于使计算机执行权利要求1至7任一项所述的基于多模 型特征融合的病虫害识别方法。权　利　要　求　书 2/2 页 3 CN 114332621 A 3