(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210490014.0 (22)申请日 2022.05.07 (71)申请人 西安电子科技大 学广州研究院 地址 510555 广东省广州市黄埔区中新知 识城海丝中心B5、 B6、 B7栋 (72)发明人 刘静　马玉婷　 (74)专利代理 机构 广州大象飞扬知识产权代理 有限公司 4 4745 专利代理师 汤海锋 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G01N 23/04(2018.01) (54)发明名称 一种基于多尺度特征融合的X光危险物检测 方法 (57)摘要 本发明公开了一种基于多尺度特征融合的X 光危险物检测方法， 包括以下步骤： 步骤(1)、 获 取训练样本集和测试样本集； 步骤(2)、 构建基于 多尺度特征融合的卷积神经网络； 步骤(3)、 对基 于多尺度特征融合的卷积神经网络进行迭代训 练； 步骤(4)、 获取X光危险物品图像识别结果。 本 发明涉及X光检测技术领域。 该基于多尺度特征 融合的X光危险物检测方法， 通过采用通道特征 融合模块fchannle能够在通道层面获取全局信息， 并且通过空间特征融合模块fspatial聚合全局上 下文特征， 然后利用上一步的不同通道之间的关 系建立新的特征， 再配合融合模块将全局上下文 特征合并为所有位置的特征， 达到了全面提取物 品边缘信息、 特征提取层高并且精确识别危险物 品的作用。 权利要求书4页 说明书10页 附图1页 CN 115272783 A 2022.11.01 CN 115272783 A 1.一种基于多尺度特 征融合的X光 危险物检测方法， 其特 征在于： 包括以下步骤： 步骤(1)、 获取训练样本集和 测试样本集； 步骤(2)、 构建基于多尺度特 征融合的卷积神经网络； 步骤(3)、 对基于多尺度特 征融合的卷积神经网络进行迭代训练； 步骤(4)、 获取 X光危险物品图像识别结果。 2.根据权利要求1所述的一种基于多尺度特征融合的X光危险物检测方法， 其特征在 于， 所述步骤1包括以下步骤： 步骤(1a)、 获取N幅包含 不同类别危险物品的X光图像M＝{mi|1≤i≤N}， 并对每幅X光图 像mi中的危险物品类别及位置坐标进行标注， 得到 类别标签集 和位置坐 标标签集 其中， N＞8000， mi表示第i幅X光图像， 和 分别表示mi 所包含的危险物品的类别标签和位置坐标标签， 表示第s类危险物 品， S表示危险物品的类别数， S≥2， 和 分别表示 所围 成的标记框中心的横坐标、 标记框中心的纵坐标、 标记框的宽和标记框的高； 步骤(1b)、 将随机选取M中半数以上的危险物品X光图像及其对应的类别标签和位置坐 标标签组成训练样本集Mtrain＝{mj|1≤j≤Ntrain}， N/2＜Ntrain≤N， 将其余危险物品X光图像 及其对应的类别标签和位置坐标标签组成测试样本集Mtest＝{ml|1≤l≤Ntest}， 其中， mj表 示训练样本集中的第j张X光图像， ml表示训练样本集中的第l张X光图像， N/2＜Ntrain≤N， Ntest＝N‑Ntrain。 3.根据权利要求2所述的一种基于多尺度特征融合的X光危险物检测方法， 其特征在 于， 所述步骤2包括以下步骤： 步骤(2a)、 构建基于多尺度特 征融合的卷积神经网络的结构； 步骤(2b)、 定义基于UNET的下采样卷积神经网络的损失函数L oss： 其中， Llc表示类别和定位损失函数， Llc把X光图片划分成不同大小的网格， 根据候选框 和标记框的中心点坐标、 及宽高信息和网格数构建函数， M代表候选框数量， M＝3， K代表网 格数， 表示在q,m处的候选框有目标， 表示在q,m处的候选框没有目标， w表示候选 框的宽度， h表示候选框的高度， x表示候选框中心的横坐标， y表示候选框中心的纵坐标， C权　利　要　求　书 1/4 页 2 CN 115272783 A 2表示候选框内存在危险物品的置信度， 表示候选框内实际是存在危险物品的， 表示 危险物品是属于第c类的概 率， λcoord为定位平衡参数， λn oobj为类别平衡参数。 4.根据权利要求3所述的一种基于多尺度特征融合的X光危险物检测方法， 其特征在 于： 所述步骤(2a)中构建包括顺次连接的特征提取网络ff‑e、 通道特征聚合网络fchannel、 空 间特征融合网络fspatial和输出网络foutput， 所述特征提取网络ff‑e包括输入层、 多个卷积模 块和多个残差模块； 所述通道特征聚合网络fchannel包含多个上采样层、 多个卷积模块、 多个 multiplica层和多个concat拼接层； 所述空间特征融合网络fspatial包括多个卷积模块、 一 个对称卷积模块、 一个融合模块、 一个组合模块和一个concat拼接层； 所述输出网络 foutput 包括两个卷积层， 一个归一 化层和一个激活函数层的神经网络 。 5.根据权利要求4所述的一种基于多尺度特征融合的X光危险物检测方法， 其特征在 于， 所述步骤3包括以下步骤： 步骤(3a)、 初始化特征提取网络ff‑e的权重参数为 通道特征聚合网络fchannel的权 重参数为 空间特征融合网络fspatial的权重参数为 输出网络foutput的权重参数 为 迭代次数为t， 最大迭代次数为T≥5 0， 并令t＝0； 步骤(3b)、 将训练样本集Mtrain中的每个训练样本包括X光图像及其对应的类别标签和 位置坐标标签作为特征提取网络ff‑e的输入， 每幅图像mj在特征提取网络中进行前向特征 提取， 得到图像mj的第一高级特 征 步骤(3c)、 将图像mj的第一高级特征 作为通道特征聚合网络 fchannel的输入进行特征 提取， 在通道特征聚合网络fchannel中进行特征融合， 得到图像mj的第二高级特征 第三高 级特征 第四高级特 征 步骤(3d)、 将图像mj的第二高级特征 作为空间特征融合网络fspatial的输入进行前向 特征提取， 得到图像mj的注意力图 步骤(3e)、 将图像mj的注意力图 与图像mj的第三高级特征 第四高级特征 在组 合模块中相融合， 得到图像mj的第五高级特 征 步骤(3f)、 将图像mj的第五高级特征 作为输出网络foutput的输入进行前向特征提取， 得到图像mj的所包含危险物品的预测位置坐标标签 置信度信息 和预测类 别标签概 率 步骤(3g)、 基于多尺度特征融合的卷积神经网络的损失函数Loss＝LGHM‑C通过 计算类别和定位损失函数Llc的 函数值， 再采用反向传播 方法， 通过Loss计 算ff‑e、 fchannle、 fspatial和foutput的网络权重参数梯 度， 然后采用梯度下降算法通过ff‑e、 fchannle、 fspatial和foutput的网络权重参数梯度对ff‑e、权　利　要　求　书 2/4 页 3 CN 115272783 A 3