(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210188929.6 (22)申请日 2022.02.28 (71)申请人 国网山东省电力公司电力科 学研究 院 地址 250003 山东省济南市 市中区望岳路 2000号 申请人 国家电网有限公司 (72)发明人 林颖　刘萌　白德盟　郑文杰　 李杰　杨祎　李程启　刘辉　周超　 乔木　李龙龙　李君　李壮壮　 张峰达　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 张庆骞(51)Int.Cl. G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 一种基于融合模态对比学习的电力设备分 割方法及系统 (57)摘要 本发明属于图像 分割技术领域， 提供了一种 基于融合模态对比学习的电力设备分割方法及 系统。 其中， 该方法包括获取待分割的电力设备 的红外图像与可见光图像对； 基于获取的图像对 及训练好的电力设备分割网络， 得到电力设备分 割结果； 在训练过程中， 所述电力设备分割网络 由融合模态特征提取器、 语义分割解码器和对比 学习模块组成； 在训练完成后， 电力设备分割网 络由融合模态特征提取器和语义分割解码器组 成； 融合模态特征提取器用于提取红外图像与可 见光图像对的融合模态特征， 语义分割解码器用 于解码融合模态特征； 在训练过程中， 语义分割 解码器和对比学习模块用于分别计算融合模态 分割损失和融合模态对比损失， 进而得到融合模 态总损失来训练电力设备分割网络 。 权利要求书2页 说明书6页 附图1页 CN 114612659 A 2022.06.10 CN 114612659 A 1.一种基于融合模态对比学习的电力设备分割方法， 其特 征在于， 包括： 获取待分割的电力设备的红外图像与可 见光图像对； 基于获取的图像对及训练好的电力设备分割网络， 得到电力设备分割结果； 其中， 在训练过程中， 所述电力设备分割网络由融合模态特征提取器、 语义分割解码器 和对比学习模块组成； 在训练完成后， 所述电力 设备分割网络由融合模态特征提取器和语 义分割解码 器组成； 所述融合模态特征提取器用于提取红外图像与可见光图像对的融合模 态特征， 所述语义分割解码 器用于解码融合模态特征； 在训练过程中， 所述语义分割解码 器 和对比学习模块用于分别计算融合模态分割损失和融合模态对比损失， 进而得到融合模态 总损失来训练电力设备分割网络 。 2.如权利要求1所述的基于 融合模态对比学习的电力设备分割方法， 其特征在于， 所述 融合模态特征编码器包括红外特征编码器、 可见光特征编码器和多个融合模块， 所述融合 模态特征编码器设置有若干层级， 每个层级模块均一个融合模块， 所述融合模块用于融合 对应层级的红外特 征编码器和可 见光特征编码器所编码的特 征。 3.如权利要求2所述的基于 融合模态对比学习的电力设备分割方法， 其特征在于， 所述 红外特征编码器与可 见光特征编码器的结构相同。 4.如权利要求1所述的基于 融合模态对比学习的电力设备分割方法， 其特征在于， 所述 对比学习模块包括投影模块、 特征存储单元和计算模块； 所述投影模块用于将 融合特征编 码器输出的融合模态特征投影成多个融合模态像素特征； 所述特征存储单元用于存储融合 模态中心像素特征并在每个批次进行更新； 所述计算模块用于从当前批次的融合模态像素 特征中采样获得锚点样本集合并输出， 从特征存储单元存储的融合模态中心像素特征中采 样获得正负难样本集合， 并通过对比负难样本集合和锚点样本集合来计算融合模态对比损 失。 5.如权利要求1所述的基于 融合模态对比学习的电力设备分割方法， 其特征在于， 基于 融合模态像素特征， 计算当前批次各个类别下 的融合模态中心像素特征， 并更新特征存储 单元。 6.如权利要求5所述的基于 融合模态对比学习的电力设备分割方法， 其特征在于， 对于 当前批次的各个红外与可见光图像对， 通过池化该 红外与可见光图像对所对应的属于同一 个类别的多个融合模态像素特征得到该红外与可见光图像对各个类别下的融合模态中心 像素特征。 7.如权利要求1所述的基于 融合模态对比学习的电力设备分割方法， 其特征在于， 所述 计算模块利用语义感知的锚点样本采样方法对当前批次的多个融合模态像素特征进行锚 点样本选择， 获得当前批次的锚点样本集 合。 8.一种基于融合模态对比学习的电力设备分割 系统， 其特 征在于， 包括： 图像对获取模块， 其用于获取待分割的电力设备的红外图像与可 见光图像对； 电力设备分割模块， 其用于基于获取的图像对及训练好的 电力设备分割 网络， 得到电 力设备分割结果； 其中， 在训练过程中， 所述电力设备分割网络由融合模态特征提取器、 语义分割解码器 和对比学习模块组成； 在训练完成后， 所述电力 设备分割网络由融合模态特征提取器和语 义分割解码 器组成； 所述融合模态特征提取器用于提取红外图像与可见光图像对的融合模权　利　要　求　书 1/2 页 2 CN 114612659 A 2态特征， 所述语义分割解码 器用于解码融合模态特征； 在训练过程中， 所述语义分割解码 器 和对比学习模块用于分别计算融合模态分割损失和融合模态对比损失， 进而得到融合模态 总损失来训练电力设备分割网络 。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项 所述的基于融合模态对比学习的电力设备分割方法中的 步骤。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的基于 融合模态对比学习的电力设备分割方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114612659 A 3