(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210688616.7 (22)申请日 2022.06.17 (71)申请人 桂林医学院 地址 541004 广西壮 族自治区桂林市环城 北二路109号 申请人 桂林理工大 学 (72)发明人 杨铁军　邓渭铭　黄琳　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 郑堪泳 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于神经网络架构搜索的工业产品盲 检目标检测方法 (57)摘要 本发明提供一种基于神经网络架构搜索的 工业产品盲检目标检测方法， 该方法设计了一个 XOR通道融合模块， 用于解决多分支接入带来的 特征混淆和冗余问题。 利用深 浅层特征映射之间 的互补性， 在多分支 接入时， 通过XOR通道融合模 块在通道层面上对不同尺度的特征映射进行XOR 融合； 提出了一种逐渐剪枝的搜索策略， 在搜索 过程中不断剪枝， 高效的构建多分支CNN架构同 时缩小搜索和评估之间的差距， 生成的多分支 CNN结构， 可以在深层特征中融入浅层特征， 提高 小目标检测能力； 将搜索出的模型作为YOLOv4的 主干网络， 达 到了更高的检测精度。 权利要求书3页 说明书11页 附图5页 CN 114998285 A 2022.09.02 CN 114998285 A 1.一种基于神经网络架构搜索的工业产品盲检目标检测方法， 其特征在于， 包括以下 步骤： S1： 设计一个XOR通道融合模块， 在多分支接入时融合多条分支的特 征映射； S2： 通过步骤S1设计的XOR通道融合模块构 建被搜索的神经网络架构单元Cell， 采用了 逐渐剪枝的搜索策略来搜索多分支CN N架构； S3： 将步骤S2搜索出的多分支CN N架构作为YOLOv4的主干网络在数据集上评估测试。 2.根据权利要求1所述的基于神经网络架构搜索的工业产品盲检目标检测方法， 其特 征在于， 所述 步骤S1中， XOR通道融合模块的操作机制是： 设有k+1个分支分别为 接入， 其中 表示第n‑mk层 的 特 征映 射 ， k ∈ { 0 ,1 ,2 , …} ， m0< m1<…< mk， 的 通 道 数 为 且 为了融合k+1个分支， 一个XOR模块 需要设置k个XOR子块， 除第一个XOR子块接受最深层 的2路分支外， 其余子块分别接受次深层的一路分支和前一个子块的一路输出， 各分支按照 层次倒序依次输入到 子块中。 3.根据权利要求2所述的基于神经网络架构搜索的工业产品盲检目标检测方法， 其特 征在于， 和 输入到第1个子块， 每个子块包含2路输出， 其中一 路输出为增强的浅 层特征映射 负责串联其他子块， 即作为下一个子块的深层特征映射输入； 另外一路 为增强的深层特 征映射 经XOR融合后输出。 4.根据权利要求3所述的基于神经网络架构搜索的工业产品盲检目标检测方法， 其特 征在于， 所述 步骤S1中， XOR通道融合模块融合多条分支的特 征映射的过程如下： S11： 初始化 i＝1； 两路输入 对应的通道数分别为C1,C2； S12： 将Fin,1和Fin,2输入到第i个XOR子块中， 由于每个通道对应的BN层参数反应了通道 的重要程度， 将Fin,1所有通道按照BN参数大小降序排列， 选出前C2个通道， 并进行双线性上 采样得到Fup； 然后， 将Fup与Fin,2进行XOR操作， XOR操作定义如下： 将 和Fup按通道进行 取最大值的点 运算， 输出结果为 其中， Fi为第i个通道； 然后， 计算差异张量 接着， 以Fsub中每个通道的均值作为对应通道的阈值Ti， 并采用XOR的方式融合 和 Fup， 如公式(3)所示： 权　利　要　求　书 1/3 页 2 CN 114998285 A 2S13： 将Fxor下采样， 并与 剩余的C1‑C2个通道拼接， 得到增强后的一路输出 S14： 将Fup与 进行点乘运算， 将深层特征信息嵌入浅层 特征， 得到增强后的另外一 路输出 S15： 如果i<k， 表示还有分支未接入， 则： i ←i+1， 对应的 通道数分别为C1,C2， 转到S12， 否则， 结束。 5.根据权利要求4所述的基于神经网络架构搜索的工业产品盲检目标检测方法， 其特 征在于， 当特 征差异 低于Ti时， 对应位置的深层、 浅层特征语义近似， 因此选择语义 信息更丰富的深层特征 当 高于Ti时， 说明特征语义差异较大， 而浅层特 征包含更精细位置的特征信息， 因此选择浅层特征 操作将更准确的空间信息融 入到深层特 征中， 预期实现更高的检测准确性命名为XOR操作。 6.根据权利要求5所述的基于神经网络架构搜索的工业产品盲检目标检测方法， 其特 征在于， 所述步骤S2中， XOR通道融合模块构建被搜索的神经网络架构单元Cell包括一个头 层Head和一个堆叠层Stack； 在头层中， 当输入为多分支时， 首先通过XOR模块进行融合， 然 后由对齐层将不同尺 寸包括通道数和空间分辨率的张量转换为相同尺寸的张量， 其中对齐 层由多条并行分支构成， 每条分支都是一组除Skip  Connect以外的候选操作集合， 再进行 拼接操作， 并连接一个1 ×1conv层规范化头层输出； 当输入为单分支时， 则进 行对齐操作后 直接输出； 在堆叠层中， 每一层为一组候选操作集合， 包括BasicBlock和Skip  Connect， Basic Block为ResNet18中的残差块， Skip  Connect用于搜索堆叠层深度； 如果选 择了Skip   Connect， 将在最终的网络架构中删除相应的层。 7.根据权利要求6所述的基于神经网络架构搜索的工业产品盲检目标检测方法， 其特 征在于， 所述步骤S2中， 采用堆叠神经网络架构单元Cell的方式搭建完整的神经网络， 按照 空间分辨率的不同将整个神经网络 分为多个子网， 每个子网包含若干个通道数不同和空间 分辨率相同的Cell， 但放松了连接的搜索限制： 设子网Ni内的Cell的空间分辨率为Hi×Wi (Hi＝Wi)， 子网Nj(j>i)内的Cell的空间分辨率为Hj×Wj(Hj＝Wj)， 则Cell之间存在连接的条 件为Hi/Hj≤2。 8.根据权利要求7所述的基于神经网络架构搜索的工业产品盲检目标检测方法， 其特 征在于， 所述 步骤S2中， 采用了逐渐剪枝的搜索策略来搜索多分支CN N架构的过程是： 通过剪枝每个Cell往后连接路径中的候选操作来切断Cell之间的连接， 并利用连接路 径中的候选操作权 重表示连接系数： 首先， 为搜索空间内所有候选操作分配一个α架构参数， 每一组候选操作权重通过 softmax函数进行归一化； 然后， 对每个Cell往后连接 路径中的所有候选操作权重进行最大 值归一化； 接着， 引入一组可训练参数 其中M为搜索空间内Cell个数， 每个Cell 阈值 定义为 利用定义的阈值， 通过Relu操作将连接路径中低于阈值的候选操作权　利　要　求　书 2/3 页 3 CN 114998285 A 3