(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111655676.0 (22)申请日 2021.12.3 0 (71)申请人 北京科东电力控制系统有限责任公 司 地址 100192 北京市海淀区清河小营东路 15号院内主楼5层 (72)发明人 王姣　谷丰强　李东昌　马静雅　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/194(2017.01) G06T 7/62(2017.01) G06N 3/04(2006.01)G06K 9/62(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/25(2022.01) (54)发明名称 一种基于多目标检测的图像数据处理方法 及装置 (57)摘要 本发明公开了一种基于多目标检测的图像 数据处理方法及装置， 所述方法包括获取图像， 对图像进行预处理， 经过基础卷积神将网络提取 图像特征， 得到图像的特征图； 将特征图经过预 先构建的区域建议网络产生大量 默认的建议框， 对特征图和建议框进行分类； 基于面积的非极大 值抑制算法， 对分类后的建议框进行去重， 完成 处理， 本发 明通过自适应预处理算法以提高图像 的亮度和对比度以及对复杂环境图像的适应性； 基于面积的A ‑NMS算法以解决单目标多检测框的 问题以提高算法对微小特征差异的判别能力； 以 及采用切分检测方法提升了算法对小目标的识 别能力， 降低了远景目标的漏检率， 获得了更准 确的对复杂背景下航拍图像中多目标的故障检 测。 权利要求书2页 说明书8页 附图2页 CN 114494040 A 2022.05.13 CN 114494040 A 1.一种基于多目标检测的图像数据处 理方法， 其特 征在于， 包括： 获取图像， 对图像进行预处理， 经过基础卷积神将网络提取图像特征， 得到图像的特征 图； 将特征图经过预先构建的区域建议网络产生大量默认的建议框， 对特征图和建议框进 行分类； 基于面积的非极大值抑制算法， 对分类后的建议框进行去重， 完成处 理。 2.根据权利要求1所述的基于多目标检测的图像数据处理方法， 其特征在于： 所述对图 像进行预处理包括： 将图像的亮度和对比度调整到合 适的区间。 3.根据权利要求2所述的基于多目标检测的图像数据处理方法， 其特征在于： 所述将图 像的亮度和对比度调整到合 适的区间， 包括： 使用图像中像素的标准差来表示对比度， 公式如下： 其中 表示图像的像素均值， 这里X∈ Rr×c×3， 表示X是一 张 长为r， 宽为c的3通道彩色图像； 采用OTSU算法找到前景和背景的最佳分割点， 找到一个灰度级T， 使前景和背景的类间 方差最大， 使用灰度级图像， 遍历从0到255共256个值， 找到最佳分割点T， 利用式(2)和式 (3)分别求出 大于分割点的所有像素均值m0和小于分割点的所有像素均值m1： m0＝mean(Ima ge[Image>T])    (2) m1＝mean(Ima ge[Image≤T])    (3) 它们分别代表前景和背景的像素水平， 同时作为图像亮度水平的判断依据， 然后， 以二 者之差作为对比度强度的量 化指标： const＝m0‑m1    (4) 当const小于80属于低对比度， m0小于50属于低亮度背景， 通过式(5)决定对比度缩 放系 数α 的大小， 以及像素值平 移偏置β 的大小： 式中Cα是对比度的期望值， Cβ是背景均值的期望值， 二者均为异常区间之外的随机取 值， 调整函数采用OpenCV 中的方法， 即将原始图像中的每一个像素值乘以缩放系数α， 再加 上偏置系数β： newImage＝α *Ima ge+β    (6) 对于超出图像范围的值进行截断处 理， 将大于25 5的值置为25 5， 将小于 0的值置为0 。 4.根据权利要求1所述的基于多目标检测的图像数据处理方法， 其特征在于： 将特征图 经过预先构建的区域建议网络产生大量默认的建议框， 对特 征图和建议框进行分类， 包括： 将特征图经过两个分支， 一个分支叫做区域建议网络RPN， 用来产生建议框， 并且进行 初步的目标框回归； 另一个分支将特征图和建议框进 行RoI池化处理， 然后经过全连接层 进 行分类和精细回归， 其中， 所述区域建议网络先产生大量默认框， 然后删除掉超出图像边界的目标框， 对剩下的权　利　要　求　书 1/2 页 2 CN 114494040 A 2目标框采非极大值抑制去除大量重 叠的框， 最终选取 前N个检测框送入到下一 步网络中。 5.根据权利要求1所述的基于多目标检测的图像数据处理方法， 其特征在于： 所述基于 面积的非极大值抑制算法， 对分类后的建议框进行去重， 包括： 在建议框中获取分类集合C， 依据分类集合C提取属于绝缘子类的检测框集合B和得分 集合S， 然后求得所有框的面积， 将面积最大的框和其他框进 行比较， 计算小面积box被大面 积box覆盖的比例， 如式(7)所示： 如果IoS大于一定阈值， 则认为二者重叠， 然后再比较得分， 如果二者得分之差小于一 定值， 则删除面积小的检测框， 否则 删除得分低的检测框 。 6.根据权利要求1所述的基于多目标检测的图像数据处理方法， 其特征在于： 还包括： 使用切分检测法对特 征图进行切分， 对切分后的子图进行检测。 7.根据权利要求1所述的基于多目标检测的图像数据处理方法， 其特征在于： 所述使用 切分检测法对特 征图进行切分， 对切分后的子图进行检测， 包括： 将特诊图以横纵坐标轴的1/4和3/4处为切分点， 将一张图片切分为四部分， 切分后每 张子图的长和宽分别是原图的3 /4， 面积为原图的9/16； 将切分后的图像需要放大到原图尺寸， 使得原图中小目标的面积进行扩大， 对扩大后 的部分进行检测。 8.根据权利要求1所述的基于多目标检测的图像数据处理方法， 其特征在于： 还包括： 将扩大部分检测的检测结果乘以0.75进行缩放， 然后再根据位置的不同加上0.25的偏置 。 9.根据权利要求1所述的基于多目标检测的图像数据处理方法， 其特征在于： 还包括： 对于跨越多张切分子图的目标得到的不完整的检测框， 进行目标框融合处理， 在删除小面 积框之前， 先将它融合进当前面积最大的框中。 10.一种基于多目标检测的图像数据处 理装置， 其特 征在于， 包括： 预处理单元， 用于获取图像， 对图像进行预处理， 经过基础卷积神将网络提取图像特 征， 得到图像的特 征图； 分类单元， 用于将特征图经过预先构建的区域建议网络产生大量默认的建议框， 对特 征图和建议框进行分类； 去重单元， 用于基于面积的非极大值抑制算法， 对分类后的建议框进行去重， 完成处 理。权　利　要　求　书 2/2 页 3 CN 114494040 A 3