(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210215812.2 (22)申请日 2022.03.07 (71)申请人 郑州轻工业大 学 地址 450000 河南省郑州市高新 技术产业 开发区科 学大道136号 (72)发明人 郑远攀　王振宇　许博阳　牛依青　 高宇飞　 (74)专利代理 机构 郑州优盾知识产权代理有限 公司 41125 专利代理师 栗改 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于时空域双通道火灾视频烟雾识别 方法 (57)摘要 本发明提出了一种基于时空域双通道火灾 视频烟雾识别方法， 其步骤为： 收集并制作含有 云、 雾干扰的烟雾数据集； 搭建静态特征提取网 络和动态特征提取网络， 将静态特征提取网络和 动态特征提取网络融合连接， 构建视频烟雾识别 网络模型； 利用烟雾数据集对视频烟雾识别网络 模型进行训练， 得到优化后的视频烟雾识别网络 模型； 利用优化后的网络模型对实时采集的烟雾 视频进行处理， 静态特征提取网络提取图像在空 间域上的静态特征， 动态特征提取网络提取视频 在时间域上的动态特征， 将静态特征和动态特征 进行融合生成烟雾特征， 对烟雾特征进行识别判 断是否存在烟雾。 本发明具有更高的准确率和召 回率， 更低的误报率， 能够对烟雾进行实时有效 地识别和预警。 权利要求书2页 说明书9页 附图3页 CN 114580541 A 2022.06.03 CN 114580541 A 1.一种基于时空域双通道火灾视频烟雾识别方法， 其特 征在于， 其 步骤如下： 步骤一： 收集并制作含有云、 雾 干扰图像和视频的烟雾数据集； 步骤二： 搭建静态特征提取网络和动态特征提取网络， 对静态特征提取网络和动态特 征提取网络进行融合连接， 构建视频烟雾识别网络模型； 步骤三： 利用步骤一中的烟雾数据集对步骤二构建的视频烟雾识别网络模型进行训 练， 得到优化后的视频烟雾识别网络模型； 步骤四： 利用优化后的视频烟雾识别网络模型对实时采集的烟雾视频进行处理， 静态 特征提取网络提取图像空间域上的静态特征， 动态特征提取网络提取视频序列在时间域上 的动态特征， 并将静态特征和 动态特征进 行融合生成烟雾特征， 对烟雾特征进 行识别， 判断 是否存在 烟雾， 如果存在 烟雾则进行报警。 2.根据权利要求1所述的基于时空域双通道火灾视频烟雾识别方法， 其特征在于， 所述 步骤一中的烟雾数据集包含森林、 田野、 室内、 操场、 工地、 城市、 公路场景下的烟雾图像或 视频， 烟雾数据集是包 含多种正样本、 负 样本的图像和视频。 3.根据权利要求1或2所述的基于时空域双通道火灾视频烟雾识别方法， 其特征在于， 所述视频烟雾识别网络模型包括并联连接的静态特征提取网络和 动态特征提取网络， 静态 特征提取网络和动态特征提取网络均与融合组件相连接， 融合组件与全连接单元相连接； 所述融合组件 采用自适应融合方法， 利用神经网络的学习能力， 为融合特 征重新分配权值。 4.根据权利要求3所述的基于时空域双通道火灾视频烟雾识别方法， 其特征在于， 所述 融合组件包括特征融合单元， 特征融合单元将静态特征提取网络提取的静态特征和 动态特 征提取网络提取的动态特征 组合： 采用3D全局平均池化得到一组1 ×(n+k)的特征向量I， 特 征向量经过重组转化为 的特征矩阵I， 特征矩阵I通过卷积处理得到权值矩阵 II， 将 的特征矩阵II转换为1 ×(n+k)的权值向量II； 将权值向量II和对应的静 态特征和动态特 征相乘得到融合后的特 征， 输入全连接单 元的全连接层。 5.根据权利要求4所述的基于时空域双通道火灾视频烟雾识别方法， 其特征在于， 所述 视频烟雾识别网络模型的融合方法为 其中， 参数 和 经过反向传播自主学习 得到， Fst和Fdy分别表示用于融 合的静态特 征和动态特 征， 为融合后的特 征。 6.根据权利要求3 ‑5中任一项所述的基于时空域双通道火灾视频烟雾识别方法， 其特 征在于， 所述静态特征提取网络是基于残差注意力模块搭建的； 所述静态特征提取网络依 次连接12个残差注意力模块， 且每两个2个残差注意力模块后连接1个池化层； 所示残差注 意力块均采用3 ×3大小的卷积核， 步长为 1； 池化层均采用大小为2 ×2的最大池化且步长为 2； 所述静态特 征提取网络采用ReLU非线性非饱和激活函数。 7.根据权利要求6所述的基于时空域双通道火灾视频烟雾识别方法， 其特征在于， 所述 残差注意力块包括通道注意力单元、 空间注意力单元和残差结构， 输入特征图X经过主干分 支中的卷积运算传送至通道注意力单元， 然后经过通道注意力单元处理得到的特征图 传 送至空间注意力单元， 空间注意力单 元处理得到特 征图 特征图 是重新分配权值后的 特征图， 特征图 与跳跃分支中的输入特 征图X相加得到 输出特征图 权　利　要　求　书 1/2 页 2 CN 114580541 A 28.根据权利要求3 ‑5、 7中任一项所述的基于时空域双通道火灾视频烟雾识别方法， 其 特征在于， 所述动态特征提取网络为权值3D卷积神经网络， 且动态特征提取网络包括特征 提取模块和注意力模块， 特征提取模块包括至少两个依 次连接的特征提取单元， 每个特征 提取单元包括依次连接的3D卷积层和池化层； 特征提取模块处理后的特征图经过卷积运算 分别得到特征图F＝{f1,f2,...,fk}和注意力图A＝{a1,a2,...,ak}， 注意力图A＝{a1, a2,...,ak}中的特征ak作为权重和特征图F＝{f1,f2,...,fk}中的特征fk依次相乘， 得到动 态特征 且 9.根据权利要求8所述的基于时空域双通道火灾视频烟雾识别方法， 其特征在于， 所述 动态特征提取网络的特征提取模块包括5个特征提取单元， 特征提取单元中的3D卷积层均 采用大小为3 ×3×3的3D卷积核， 步长stride为1 ×1×1， 填充属性padding＝1； 池化层II为 2×2×2的3D最大池化。权　利　要　求　书 2/2 页 3 CN 114580541 A 3