(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211044942.0 (22)申请日 2022.08.29 (71)申请人 安徽理工大 学 地址 232000 安徽省淮南市山 南新区泰丰 大街168号 (72)发明人 李敬兆　许志　王国锋　郑昌陆　 沈之柱　 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06T 5/00(2006.01) G06V 10/77(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H04N 7/18(2006.01) G08B 21/02(2006.01) (54)发明名称 一种基于注意力机制剪枝的煤矿井下轻量 化实时智能视频监控系统 (57)摘要 本发明的提供了一种基于注意力机制剪枝 的煤矿井下轻量化实时智能视频监控系统， 采用 的注意力模块通过煤矿井下行人数据集进行参 数训练， 使该注意力模块能够更准确地评判通道 的重要性， 据此对相应的卷积核进行剪枝， 从而 最大程度降低剪枝造成的精度损失。 采用的 AEPSM通过与YOLO ‑Prune的Backbone结合感知现 场的光照环境， 从而对CLAHE的参数进行自适应 设置。 本发明与现有技术相比， 其有益效果体现 在该系统能够大幅度降低目标检测模型的参数 量和计算量， 并且能够根据现场环 境对图像增强 算法的参数进行自适应调节， 以提升模型的检测 精度。 此外， 本发明将智 能监控算法部署在嵌入 式平台上， 能够根据检测结果对边缘端的设备和 警报器进行实时控制， 以提升煤矿井下生产的安 全性。 权利要求书2页 说明书5页 附图4页 CN 115410127 A 2022.11.29 CN 115410127 A 1.一种基于注意力 机制剪枝的煤矿井下轻量化实时智能视频监控系统， 采用通道注意 力模块对Y OLOv3的通道重要性进行评估， 并删除重要性低的通道对应的卷积核以大幅度降 低模型的参数量和计算量， 同时减少剪枝造成的模型精度损失， 其特征在于， 包括如下步 骤： 步骤S1， 采用煤矿井下 行人数据集对YOLOv3模型进行训练。 步骤S2， 将注意力模块插入到YOLOv3的待剪枝层构造YOLO ‑attention模型， 并加 载步 骤S1中训练的参数。 步骤S3， 固定YOLO ‑attention模型中YOLOv3的参数， 并在煤矿井下行人数据集上进一 步训练， 以获取最佳的注意力模块 参数。 步骤S4， 将煤矿井下行人数据集在训练好的YOLO ‑attention模型中进行一次推理， 统 计每个注意力模块的输出值大小Im(i,j)， 其中， i 为第i个卷积层， j为第j个卷积核。 步骤S5， 以注意力模块输出值大小作为通道重要性评估标准并进行排序,计算极限剪 枝率plimit＝arg(mi n(max(Im(i) )))/N,其中， N 为所有卷积核数量。 步骤S6， 设定 剪枝率p％,(p<plimit)， 计算剪枝阈值pth＝Im(p％×N)。 步骤S7， 删除YOLO ‑attention重要性小于pth的通道对应的卷积核和注意力模块， 构建 轻量化模型YOLO ‑Prune。 步骤S8， 在煤矿井下 行人数据集上对YOLO ‑Prune进行fi ne‑tune以恢复精度。 2.一种基于注意力 机制剪枝的煤矿井下轻量化实时智能视频监控系统， 其特征在于通 过自适应图像增强模块(AEP SM)根据现场光照环境自动设置 CLAHE参数， 其包 含如下步骤： Q1:将AEP SM与YOLO ‑Prune模型的Backbo ne相结合， 与CLAH E， YOLO‑Prune进行串联。 Q2:固定YOLO‑Prune的参数在煤矿井下 行人数据集中进行训练， 以调整AEP SM的参数。 Q3:删除与AEPSM结合的Backbone， 将AEPSM插入到YOLO ‑Prune的Backbone后面， 利用 YOLO‑Prune的Backbo ne提取图像深层特 征。 Q4:当模型部署后， 在第一次运行模型时， AEPSM对CLAHE的参数进行设置， 在之后的推 理过程中， AEP SM将被忽略以节约计算资源。 3.一种基于注意力机制剪枝的煤矿井下 轻量化实时智能视频监控系统， 其特 征在于： T1， Fine‑tune收敛后的YOLO ‑Prune将被部署在NVIDIA  Jetson nano嵌入式平台上。 T2， NVIDIA  Jetson nano将采集到额视频数据经YOLO ‑Prune模型分析后， 检测出井下 工人的位置， 若工人与运行中的设备过于接近， 则控制报警器发出警报， 或对发出控制指 令 关停设备， 以保障人员安全。 4.一种基于注意力机制剪枝的煤矿井下 轻量化实时智能视频监控系统， 其特 征在于： 通道注意力模块通过多层卷积和池化提取特征图的通道特征。 为了更加准确的对通道 重要性进行评估， 通道注意力模块采用分组卷积抑制通道之间的信息交互， 以防止空间信 息对通道信息产生串扰。 通道注意力模块采用GN层进行归一化， 解决了BN层 受到的Batch_ size影响， 同时为通道注意力模块提供了一定的通道间信息交互能力， 使其具备特征图全 局信息感知能力。 通道 注意力模块对进行通道重要性评估的步骤如下： R1： 针对输入通道数为C的特征图， 通过卷积核大小为3， 分组数为C， 步长为1的卷积运 算进行特征提取。 R2： 通过步长为2， 池化尺度为2的最大池化和平均池化， 分别从两个方面提取特征信权　利　要　求　书 1/2 页 2 CN 115410127 A 2息， 并减少特 征维度。 R3： 采用两个卷积核大小为1， 分组数为C， 步长为1的卷积对R2中的两个特征图进行卷 积运算， 并将运 算结果进行融合， 再通过GN层进行归一 化。 R4： 采用卷积核尺寸为3， 步长为1， 分组数为C的卷积进行特征提取， 再通过最大值自适 应池化和平均值自适应池化 提取特征信息， 并将特 征尺寸变为1*1* C。 R5： 采用GN层对R4提取的两类特征进行归一化并进行融合， 再通过卷积核为大小为1， 步长为1， 分组数为C的卷积进行 特征提取。 R6： 采用GN层对R5的输出特征进行归一化， 最后采用Sigmoid激活函数输出通道重要性 的评估值。权　利　要　求　书 2/2 页 3 CN 115410127 A 3