(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210879275.1 (22)申请日 2022.07.25 (71)申请人 河南爬客智能机 器人有限公司 地址 450018 河南省郑州市河南自贸试验 区郑州片区(郑东)三全路与龙源四街 交叉口中原科技城创新孵化基地C座2 层002室 (72)发明人 万里红　袁野　吴国栋　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 吴松滨 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 一种基于深度神经网络的吸烟行为检测方 法和系统 (57)摘要 本发明公开了一种基于深度神经网络的吸 烟行为检测方法和系统。 该方法应用于智能巡检 机器人， 包括以下步骤： 智能巡检机器人在自主 巡检过程中， 采集行人图像， 并将所述行人图像 输入至基于深度卷积神经网络的吸烟行为检测 模型， 所述吸烟行为检测模型输出吸烟行为检测 结果； 所述吸烟行为检测模型为经过轻量化处理 和推理加速处理的深度卷积神经网络模型； 当所 述检测结果为存在吸烟行为时， 所述智能巡检机 器人发出语音提示。 本发明技术方案提升了巡检 机器人检测出吸烟行为的速度。 权利要求书2页 说明书6页 附图2页 CN 115294647 A 2022.11.04 CN 115294647 A 1.一种基于深度神经网络的吸烟行为检测方法， 其特征在于， 应用于智能巡检机器人， 包括以下步骤： 智能巡检机器人在 自主巡检过程中， 采集行人图像， 并将所述行人图像输入至基于深 度卷积神经网络的吸烟行为检测模型， 所述吸烟行为检测模型输出吸烟行为检测结果； 所 述吸烟行为检测模型为经 过轻量化处理和推理加速处 理的深度卷积神经网络模型； 当所述检测结果 为存在吸烟行为时， 所述智能巡检机器人发出语音提 示。 2.根据权利要求1所述的基于深度神经网络的吸烟行为检测方法， 其特征在于， 建立基 于深度卷积神经网络的初始吸烟行为检测模型， 并在所述初始吸烟行为检测模型的每个检 测头嵌入CBAM注意力机制， 得到第一吸烟行为检测模型， 并训练至收敛； 将训练好的所述第一吸烟行为检测模型经过轻量化处理和推理加速处理后得到第二 吸烟行为检测模型， 将所述第二吸烟行为检测模型用于智能巡检机器人进行吸烟行为检 测。 3.根据权利要求2所述的基于深度神经网络的吸烟行为检测方法， 其特征在于， 将训练 好的所述第一吸烟行为检测模型经过轻量化处理和推理加速处理得到第二吸烟行为检测 模型， 具体为： 将训练好的所述第一吸烟行为检测模型进行剪枝 处理， 再使用TensorRT对所述第一吸 烟行为检测模型进行检测 加速处理得到第二吸烟行为检测模型。 4.根据权利要求3所述的基于深度神经网络的吸烟行为检测方法， 其特征在于， 根据以 下步骤对所述第一吸烟行为检测模型进行训练： 步骤S1： 初始化所述第一吸烟行为检测模型， 将训练集输入至所述第一吸烟行为检测 模型； 所述第一吸烟行为检测模型包括特征融合和上采样模块、 注意力机制模块和检测模 块； 步骤S2： 所述训练集向前传递至特征融合和上采样模块， 经过所述特征融合和上采样 模块的特 征融合和上采样处 理后输入至所述注意力机制模块； 步骤S3： 所述注意力 机制模块对输入的图像数据进行下采样和多尺度融合处理后得到 相应的特征图， 再对所述特征图进行通道和空间计算得到相 应的权重参数， 并将所述权重 参数传递所述检测模块； 步骤S4： 所述检测模块根据所述权重参数计算加权损失值， 并根据所述加权损失值更 新所述第一吸烟行为检测模型的权重参数； 重复步骤S2至步骤S4， 直至所述第一 吸烟行为 检测模型收敛。 5.一种基于深度神经网络的吸烟行为检测系统， 其特征在于， 应用于智能巡检机器人， 包括控制器模块、 图像采集模块、 导 航模块、 运动控制模块和语音模块； 所述控制器模块用于对系统任务进行调度和根据如权利要求1至4任一项所述的基于 深度卷积神经网络的吸烟行为检测模型获取吸烟行为检测结果； 所述图像采集模块用于获 取视觉信息； 所述导航模块用于获取地图信息； 所述运动控制模块用于移动地盘驱动； 所述 语音模块用于发出语音提 示信息； 系统根据以下步骤进行吸烟行为检测： 所述控制器模块发出巡检指令至所述导航模块和运动控制模块， 所述导航模块和运动 控制模块控制所述巡检机器人进入自主巡检 状态；权　利　要　求　书 1/2 页 2 CN 115294647 A 2所述巡检机器人自主巡检时通过所述图像采集模块采集行人图像并发送至所述控制 器模块； 所述控制器模块将所述行人图像输入至基于深度 卷积神经网络的吸烟行为检测模型， 得到吸烟行为检测结果； 当所述检测结果 为存在吸烟行为时， 通过 所述语音模块发出语音提 示。 6.根据权利要求5所述的基于深度神经网络的吸烟行为检测系统， 其特征在于， 根据以 下步骤所述控制器模块中的吸烟行为检测模型： 建立基于深度 卷积神经网络的初始吸烟行为检测模型， 在所述初始吸烟行为检测模型 的每个检测头嵌入CBAM注意力机制， 得到第一吸烟行为检测模型， 并训练至收敛； 将训练好的所述第一吸烟行为检测模型进行剪枝 处理， 再使用TensorRT对所述第一吸 烟行为检测模型进行检测加速处理得到第二吸烟行为检测模型， 将所述第二吸烟行为检测 模型用于智能巡检机器人进行吸烟行为检测。 7.根据权利要求6所述的基于深度神经网络的吸烟行为检测系统， 其特征在于， 所述控 制器模块采用ubuntu系统， 所述图像采集模块采用大华相机， 所述导航模块采用ros机器人 操作系统。权　利　要　求　书 2/2 页 3 CN 115294647 A 3