(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210259132.0 (22)申请日 2022.03.16 (71)申请人 中南大学 地址 410083 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 李仪　刘星辰　 (74)专利代理 机构 长沙麓创时代 专利代理事务 所(普通合伙) 43249 专利代理师 贾庆 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种复杂环境下透明物检测深度特征提取 方法 (57)摘要 本发明公开了一种复杂环境下透明物检测 深度特征提取方法， 通过复合主干网络获得初步 特征， 再利用感受野增强特征金字塔模块处理初 步特征， 通过融合上下文特征信息， 将第一金字 塔阶段特征图利用感受野增强处理并将增强后 的特征与第二金字塔阶段特征图进行融合， 能够 提取复杂的环境中较为鲁棒的玻璃器皿等透明 目标的深度特征， 有利于提升对玻璃器皿等透明 目标检测算法的效果。 权利要求书2页 说明书6页 附图6页 CN 114693939 A 2022.07.01 CN 114693939 A 1.一种复杂环境下透明物检测深度特 征提取方法， 其特 征在于， 包括如下步骤： 步骤一、 利用复合主干网络提取初始特 征； S1.1:复合主干网络包括第一子网络和第二子网络； S1.2： 第一子 网络包括N个串联的层级， 第二子 网络包括包括N个串联的层级； 第一子 网 络的第i层级的输出特征输入到第一子网络的第i+1层级， 第一子网络的第i+1层级对第一 子网络的第i层级的输出特征进 行特征提取后输出第一子网络的第i+1层级的输出特征图； 第一子网络的第i层 级、 第i+1层级...第N层 级的输出特征图均进行1x1卷积以统一通道数， 且通过最邻近上采样以统一大小后进入第i ‑1个第一特征融合模块进 行特征融合操作得到 输出辅助特征图； 辅助特征图及第二子网络的第i ‑1层级的输出逐点相加作为第二子网络 的第i层级的输入， 第二子网络的第i层级对第二子网络的第i层级的输入进 行特征提取， 得 到第二子网络的第i层级输出的初步特征； 第二子网络后m个层级的输出的初步特征的合集 即为初始特 征， 所述的初始特 征包含m个初步特 征， 0<m<n； i＞1； 步骤二、 感受野增强特征金字塔模块处理初始特征， 得到第二特征融合模块得输出特 征； S2.1： 将初始特 征进行金字塔第一阶段处 理， 输出第一金字塔阶段 特征图； S2.2： 第一金字塔阶段特征图利用感受野增 强处理， 得到第一金字塔阶段感受野增 强 特征： 其中， Fout2表示第一金字塔阶段感受野增强特征， εn表示第n种不同空洞率得空洞卷积， 表示两特征 图在特征图通道维度上的concat特征 图组融合操作， Fin表示输入至感受野 增强模块的第一金字塔阶段 特征图， σ()表示1 ×1卷积； S2.3： 将第一金字塔阶段特征图进行金字塔第二阶段处理， 输出第二金字塔阶段特征 图； S2.4： 将第 一金字塔阶段感受野增强特征和第 二金字塔阶段特征图一同输入至第二特 征融合模块， 得到第二特 征融合模块得输出 特征： Fout＝weight*F1+(1‑weight)*F2 其中， weight表示学习到的权重数， F1表示第二金字塔阶段特征图， F2表示第一金字塔 阶段感受野增强特 征。 2.如权利要求1所述的一种复杂环境下透 明物检测深度特征提取方法， 其特征在于， 所 述第二子网络中的初步特 征有： 其中， 为第二子网络中的第l层级的初步特征， 表示第二子网络中的第l ‑1层级 的输出的初步特征、 n表示复合主干网络中每个子网络的层级数、 l表示当前初步特征所处 层级、 表示输入到第二子网络的第一子网络第i层级的输出 特征图、 ε表示特 征融合操作。 3.如权利要求1所述的一种复杂环境下透 明物检测深度特征提取方法， 其特征在于， 所 述金字塔第一阶段处 理包括如下步骤：权　利　要　求　书 1/2 页 2 CN 114693939 A 2A1： 将得到的初始特征中所有 的初步特征分别经过1x1卷积， 统一通道数和维度， 得到 统一维度的特 征图； A2： 将统一维度的特征图按从深层级向浅层级的顺序， 将最深层第m层级特征图通过最 近邻上采样得到第m层级上采样特征图， 第m层级上采样特征图的大小与第m ‑1层级特征图 大小一样； 第m层级 上采样特征图与第m ‑1层级特征图逐点相加得到上采样过程中新的特征 图， 上采样过程中新的特征图保留作为第 m‑1层级的新特征图； 之后将上采样过程中第 m‑1 层级的新特 征图重复上采样 操作， 逐层操作直至处 理完全部的统一维度的特 征图； A3： 将A2步骤中得到的全部上采样过程中新的特征图和第m层级特征图均通过3 ×3卷 积降低混叠效应， 输出第一金字塔阶段 特征图。 4.如权利要求1所述的一种复杂环境下透 明物检测深度特征提取方法， 其特征在于， 所 述金字塔第二阶段处 理包括如下步骤： B1： 将第一金字塔阶段特征图从浅层级向深层级的顺序， 将最浅层级第一层级特征图 进行下采样处理得到第一层级 下采样特征图， 第一层级下采样特征图大小与相邻的下一深 层级第二层级 特征图大小一样， 第一层级 下采样特征图与第二层级特征图逐点相加得到下 采样过程中新的特 征图， 下采样过程中新的特 征图保留作为第二层级的新特 征图； B2： 将下采样过程中第二层级的新特征图继续进行下采样处理， 向深层逐层操作直至 将第一金字塔阶段 特征图全部处 理完； B3： 将步骤B2中全部下采样过程中新的特征图和第一层级特征图通过3 ×3卷积， 输出 第二金字塔阶段 特征图。 5.如权利要求1所述的一种复杂环境下透 明物检测深度特征提取方法， 其特征在于， 所 述特征融合操作 ε为： ε←upsample(f(Fa)) 其中， upsample()为最近邻上采样算 法， f()表示1x1卷积， Fa表示第一子网络的输出特 征图。 6.如权利要求1所述的一种复杂环境下透 明物检测深度特征提取方法， 其特征在于， 所 述第一子网络和第二子网络均为 ImageNet数据集上 预训练的Res2Net101网络 。 7.如权利要求1所述的一种复杂环境下透 明物检测深度特征提取方法， 其特征在于， 所 述第二特 征融合模块 为AM注意力模块。 8.如权利要求1所述的一种复杂环境下透 明物检测深度特征提取方法， 其特征在于， 所 述权重参数weight为： weight＝sigmo id( σ(F)) 其中， σ()为1x1卷积、 sigmo id()表示激活函数， F表示感受野增强模块输出的特 征图。 9.如权利要求1所述的一种复杂环境下透 明物检测深度特征提取方法， 其特征在于， 所 述N为5。 10.如权利要求1所述的一种复杂环境下透明物检测深度特征提取方法， 其特征在于， 所述特征提取的方法包括ResNet特 征提取和Res2Net特 征提取。权　利　要　求　书 2/2 页 3 CN 114693939 A 3