(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210683839.4 (22)申请日 2022.06.17 (65)同一申请的已公布的文献号 申请公布号 CN 114782936 A (43)申请公布日 2022.07.22 (73)专利权人 南京信息 工程大学 地址 210044 江苏省南京市浦口区宁六路 219号 (72)发明人 夏景明　麻学岚　谈玲　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陈月菊 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/20(2022.01)G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 113378890 A,2021.09.10 CN 114092764 A,202 2.02.25 CN 114120019 A,202 2.03.01 CN 114549507 A,202 2.05.27 审查员 夏冰 (54)发明名称 一种基于改进yo lov5s网络的行为检测方法 (57)摘要 本发明提供一种基于改进yolov5s网络的行 为检测方法， 包括以下步骤： 获取抽烟、 打电话行 为数据集， 将数据集通过Labelimg进行标记， 标 记为calling和smoking两类； 将标记好的行为数 据集经过格式转换， 转换为txt 格式， 将其分为训 练集和测试集； 获取yolov5s网络结构， 对 yolov5s网络结构进行改进创新； 将数据在 改进 过后的yolov5s网络结构上进行训练； 通过测试 集对训练后得到的训练模型进行测试， 计算mAP 指标和Recall指标。 本发明能够增强了网络的特 征提取能力， 保证 检测小目标物体的检测精度。 权利要求书2页 说明书6页 附图3页 CN 114782936 B 2022.09.02 CN 114782936 B 1.一种基于改进yolov5s网络的行为检测方法， 其特征在于， 所述行为检测方法包括以 下步骤： S1， 采集违规行为图像， 生成行为数据集， 对行为数据集进行标注； 将标注好的行为数 据集转换成文本格式， 并划分成训练集和 测试集； S2， 基于yolov5s网络构建行为识别模型， 所述行为识别模型包括特征提取模块、 特征 融合模块和检测模块； 所述特征提取模块包括依 次连接的四个特征提取层， 对导入的违规 行为图像进行特征提取操作， 依次得到第一特征图、 第二特征图、 第三特征图和第四特征 图； 所述特征融合模块对第四特征图依次进 行三次上采样处理， 在上采样过程中， 三次上采 样结果按照自下而 上的顺序分别和第三特征图、 第二特征图、 第一特征图进行融合， 分别得 到第一融合特征图、 第二融合特征图和第三融合特征图； 第三融合特征图进 行1*1且步长为 1的卷积， 再采用Bottleneck模块对 卷积结果进行处理后与第五特征图融合， 融合结果依次 通过BN层和卷积层， 得到第一输出特征图， 第一输出特征图结合FcaNet注 意力机制， 进入检 测模块； 所述第一输出特征图再依次进 行三次下采样处理， 在下采样过程中， 三次下采样结 果按照自上而 下的顺序分别与第二融合特征图、 第二次上采样之前的特征图和 第一次上采 样之前的特征图进 行融合， 分别得到第二输出特征图、 第三输出特征图和 第四输出特征图， 结合FcaNet注 意力机制， 进入检测模块； 所述检测模块结合第一输出特征图、 第二输出特征 图、 第三输出 特征图和第四输出 特征图， 识别得到违规行为类别和违规行为对象； S3， 采用训练集对行为识别模型进行训练， 在训练完成后， 采用测试集对训练完成的行 为识别模型进行测试， 计算mAP 指标和Recal l指标。 2.根据权利要求1所述的基于改进yolov5s网络的行为检测方法， 其特征在于， 步骤S1 中， 违规行为图像包括抽烟图像和打电话图像。 3.根据权利要求1所述的基于改进yolov5s网络的行为检测方法， 其特征在于， 步骤S2 中， 所述特征提取模块包括第一特征提取层、 第二特征提取层、 第三特征提取层和第四特征 提取层； 所述第一特征提取层包括依次连接的两个卷积层和一个C3模块； 所述第二特征提取 层、 第三特 征提取层和第四特 征提取层分别包括相互连接的一个卷积层和一个C 3模块。 4.根据权利要求3所述的基于改进yolov5s网络的行为检测方法， 其特征在于， 步骤S2 中， 所述特 征提取模块采用的卷积层的激活函数为MetaAco nC函数。 5.根据权利要求1所述的基于改进yolov5s网络的行为检测方法， 其特征在于， 所述特 征融合模块包括依次连接的第一卷积层、 第一上采样层、 第一融合层、 第一C3层、 第二卷积 层、 第二上采样层、 第二融合层、 第二C3层、 第三卷积层、 第三上采样层、 第三融合层、 第三C3 层、 第四卷积层、 第四融合层、 第四C3层、 第五卷积层、 第五融合层、 第五C3层、 第六卷积层、 第六融合层和第六C 3层； 所述第一卷积层的输出端与第六融合层的输入端连接； 所述第 二卷积层的输出端与第 五融合层的输入端连接； 第三卷积层的输出端与第四融合层的输入端连接 。 6.根据权利要求5所述的基于改进yolov5s网络的行为检测方法， 其特征在于， 所述第 二C3层和第三C3层采用改进的C3模块， 用于对输入的原始特征图进行1*1且步长为1的卷 积， 再采用Bottleneck模块对卷积结果进行处理后与原始特征图融合， 融合结果依次通过 BN层和卷积层， 输出相应的特 征图。权　利　要　求　书 1/2 页 2 CN 114782936 B 27.根据权利要求1所述的基于改进yolov5s网络的行为检测方法， 其特征在于， 所述行 为识别模 型的四个输出通道上一一对应地添加有FcaNet注 意力模块， FcaNet注 意力模块采 用多光谱通道 注意力机制。 8.根据权利要求1所述的基于改进yolov5s网络的行为检测方法， 其特征在于， 步骤S3 中， 计算mAP 指标和Recal l指标的过程包括以下步骤： 在模型训练完成后， 保存生成的权重文件， 采用生成的权重文件进行测试， 生成对应的 CSV格式文件， 从CSV格式文件中提取 得到mAP指标和Recal l指标。 9.根据权利要求1所述的基于改进yolov5s网络的行为检测方法， 其特征在于， 所述行 为识别模型的损失函数为： Ltotal＝Lcla_loss+Lloc_loss+Lcon_loss 式中， Lcla_loss代表分类损失， Lloc_loss代表矩形框损失， Lcon_loss代表置信度损失； 矩形框 损失采用CI OU_Loss函数计算得到， 分类损失和置信度损失采用BCEWit hlogitsloss函数计 算得到。权　利　要　求　书 2/2 页 3 CN 114782936 B 3