(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210112397.8 (22)申请日 2022.01.29 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 申请人 福建医科 大学附属协和医院 (72)发明人 陈飞　李宜剑　王波　赵文新　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 张灯灿　蔡学俊 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 目标先验信息指导的多尺度加权融合目标 检测方法及系统 (57)摘要 本发明涉及一种目标先验信息指导的多尺 度加权融合目标检测方法及系统， 该方法包括以 下步骤： 首先使用卷积神经网络进行特征提取， 然后对目标尺 寸、 颜色及形状角度先验信息进行 基于尺度大小的聚类， 使用聚类结果得到的权重 来指导多尺度特征的加权融合， 使得多尺度检测 在目标具有多种形态、 大小的场景下能够更有针 对性地学习目标尺度的分布； 其次在多尺度动态 加权融合之后， 引入尺度特征贡献度微调来进一 步学习多尺度特征图的贡献度， 并使用先验信息 权重引导初始化； 最后将多尺度输出传入分类与 回归两个子网络进行目标物体的定位与分类。 该 方法及系统可以有效地利用目标的先验信息解 决目标尺度不均衡问题， 提高目标检测的准确 性。 权利要求书3页 说明书8页 附图4页 CN 114445689 A 2022.05.06 CN 114445689 A 1.一种目标先验信息指导的多尺度加权融合目标检测方法， 其特征在于， 包括以下步 骤： S1、 获取具有目标对象的图片， 建立目标图片数据集， 并对各个场景下存在的目标对象 进行标注； S2、 对数据样本进行增强处理， 利用目标样本的尺寸、 颜色及形状角度先验信息进行基 于尺度大小的聚类， 获得多尺度输出特征图对应的权重； 将图片输入卷积神经网络进行特 征提取， 并进行 K个尺度的输出； S3、 将得到的权重作为K个尺度的加权融合系数， 进行动态融合， 并调整到权重最大的 尺度， 然后再使用高斯 非局部注意力来精炼该特征， 最后调整回原先的特征图大小， 得到动 态融合的特 征图输出； S4、 对得到的多个特征图输出信息进一步引入可学习的参数进行尺度特征贡献度微 调， 并使用目标先验信息聚类所得的权重进行引导初始化， 得到多尺度加权融合步骤输出 的有效特 征图信息； S5、 将有效特征图输入ClassPredictionNet分类子网络和BoxPredictionNet回归子网 络， 进行目标的分类和定位； S6、 计算损失函数， 利用AdamW进行反向传递， 对网络模型参数进行 更新； S7、 重复步骤S4 ‑S6进行多轮的网络模型训练， 同时进行loss和mAP指标的输出， 直至满 足终止条件， 获得训练结束后的网络参数； S8、 将获得的模型权 重载入模型， 对输入的图像、 视频进行检测， 输出检测结果。 2.根据权利要求1所述的目标先验信息指导的多尺度加权融合目标检测方法， 其特征 在于， 所述步骤S2中， 读入目标图片数据集中图片， 进行图像像素值的平均和标准差处理， 同时通过包括图像随机翻转、 裁剪的处理扩充数据集， 并采用包括亮度增强、 对比度调整的 图像增强操作进行 预处理； 对增强之后的数据集使用卷积神经网络进行特征提取， 并在不同分辨率大小的特征图 层进行多尺度输出， 分别为{P3,P4,P5,P6,P7}， P3到P7为自底向上的特征图压缩， 再进行P7到 P3的上采样， 同时进行特征图的侧向连接， 更新多尺度输出为 不同尺度的 输出检测不同大小的目标。 3.根据权利要求2所述的目标先验信息指导的多尺度加权融合目标检测方法， 其特征 在于， 为了更好地融合多个尺度的输出， 利用目标样本的尺 寸、 颜色及形状角度先验信息进 行基于尺度大小的聚类， 利用所获得的权重求和来为不同尺度分配最终融合结果的贡献 度， 以此来指导多尺度特征加权融合； 具体为： 分析 处理n张数据集训练图片， 获得如下所需 数据： 标注框为 其中n为第n张图片， j为第j个 标注框， {x1， y1， x2， y2}为目标标注框的绝对坐标左上角、 右下角坐标； 宽为{w1_1， w1_2， w1_3， ......， wi_j}， 其中{wi_j}表示第i张图片的第j个目标的宽； 高为{h1_1， h1_2， h1_3， ......， hi_j}， 其中{hi_j}表示第i张图片的第j个目标的高； 对每张归一化后的图像X提取B、 G、 R通道数据， 然后对每个通道的数据求和再取平均， 综合3个通道颜色信息公式如下：权　利　要　求　书 1/3 页 2 CN 114445689 A 2对所有图像求目标区域的目标角度 构建角度信息集 合Angle。 4.根据权利要求3所述的目标先验信息指导的多尺度加权融合目标检测方法， 其特征 在于， 假设训练集有n张图片， 这n张图片里总共有N个标注框； 对该些标注框根据宽高分布 在二维空间{(w1_1， h1_1)， ......， (wi_j， hi_j)}进行类别数为K的聚类， 即多尺度特征层数K＝ 5， 其中每一类得到的个数分别为{ N1， N2， N3， N4， N5}， 除以总目标样本数来计算该类别占比， 得到5个尺度在目标 大小这个维度的权 重信息， 权 重占比如下： 对所有目标区域的颜色信息color与目标大小Area进行二维空间的聚类， 获得颜色信 息对应的5个尺度权 重colorWeight； 对所有目标区域的角度信息Angle与目标大小Area进行二维空间的聚类， 获得基于角 度的形状信息 5个尺度权 重shapeWeight； 对三方面的先验信息 权重进行求和， 得到多尺度对应的权 重weighti， 公式如下： weighti＝sizeWeighti+colorWeighti+shapeWeightii∈{3，…， 7}。 5.根据权利要求4所述的目标先验信息指导的多尺度加权融合目标检测方法， 其特征 在于， 所述步骤S3中， 将步骤S2得到的 特征图通过上采样或池化调整到权 重占比最大的层 的目标特征图大小(w， h)， 调整完之后对多个特征 图的信息根据得到 的权重weighti进行不同尺度的重要性分配， 以此进行动态融合， 公式如下： 其中， L为多尺度的层数， L ＝5； 对得到的特征图Cout通过使用高斯非局部注意力来精炼增强该特征得到Crefine， 对 Crefine进一步做池化或上采样操作来重新调整得到原先对应的5个特征图大小， 并且与 在对应相同大小的特征图上进行通道维度的逐元素相加， 得到{P3in， P4in， P5in， P6in， P7in}。 6.根据权利要求5所述的目标先验信息指导的多尺度加权融合目标检测方法， 其特征 在于， 所述步骤S4中， 对经过动态融合得到的{ P3in， P4in， P5in， P6in， P7in}特征图输入同样的多 尺度融合结构， 同时对该结构引入可学习的参数进行尺度特征贡献度微调， 并利用目标先 验信息聚类所得到的权重进行初始化， 在微调不同尺度特征贡献度的同时加快模型的收 敛， 最终得到5个有效的特征图信息{P3last_out， P4last_out， P5last_out， P6last_out， P7last_out}， 至此， 得到动态特 征融合步骤的最后输出 特征图， 以更好 地进行目标定位与类别预测。 7.根据权利要求6所述的目标先验信息指导的多尺度加权融合目标检测方法， 其特征权　利　要　求　书 2/3 页 3 CN 114445689 A 3