(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210055992.2 (22)申请日 2022.01.18 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 郑喜民　苏杭　舒畅　陈又新　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 代理人 尹长斌 (51)Int.Cl. G06V 40/20(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于特征融合的行为识别方法、 装置、 设备 及存储介质 (57)摘要 本发明涉及人工智能领域， 提供了基于特征 融合的行为识别方法、 装置、 设备及存储介质， 其 中方法包括对输入视频进行抽帧； 融合颜色信息 和光流信息得到融合图像； 将融合图像输入至特 征提取网络得到目标特征； 对目标特征进行分类 得到行为识别结果； 通过光流信息对颜色信息进 行指导有利于对融合图像的特征提取； 将前一第 一特征提取模块的输出与前一第二特征提取模 块的输出的融合结果作为后一第二特征提取模 块的输入， 将时间维度信息和空间维度信息融 合， 捕捉视频中的语义信息和运动信息， 并在特 征提取模型中引入注意力机制， 使模 型能更关注 感兴趣区域的信息， 有利于提高行为识别的准确 率和提高模型的训练效率。 权利要求书3页 说明书9页 附图3页 CN 114399839 A 2022.04.26 CN 114399839 A 1.基于特 征融合的行为识别方法， 其特 征在于， 包括： 对输入视频进行抽帧， 得到帧图像； 对每个所述帧图像， 获取所述帧图像的颜色信息和光流信息， 对所述帧图像的每个像 素的所述颜色信息和所述 光流信息进行融合得到融合图像； 将所述融合图像输入至特征提取网络进行特征提取得到目标特征， 其中所述特征提取 网络包括第一分支、 第二分支和融合模块， 所述第一分支用于提取表示所述输入视频的时 间维度信息的第一特征， 所述第二分支用于提取表示所述输入视频的空间维度信息的第二 特征， 所述融合模块用于融合所述第一特征和所述第二特征得到所述 目标特征， 所述第一 分支包括N个基于注意力机制的第一特征提取模块， 所述第二分支包括N个基于注意力机制 的第二特征提取模块， 第n个所述第一特征提取模块的输入为第n ‑1个所述第一特征提取模 块的输出， 第n个所述第二特征提取模块的输入为第n ‑1个所述第一特征提取模块的输出与 第n‑1个所述第二特征提取模块的输出两者的融合结果， N为大于或等于2的整数， n为2至N 之间的整数； 对所述目标 特征进行分类， 得到行为识别结果。 2.根据权利要求1所述的行为识别方法， 其特征在于， 所述对所述帧图像的每个像素的 所述颜色信息和所述 光流信息进行融合得到融合图像， 包括： 对所述帧图像的每 个像素， 根据所述颜色信息得到每 个颜色通道的第一元 素值； 对所述帧图像的每个像素， 在每个所述颜色通道中， 将所述像素的光流信息与所述像 素的第一元素值作相乘融合得到所述像素的第二元素值， 对所述第二元素值作标准化处理 得到目标 元素值； 将所述像素的所有所述颜色通道的所述目标 元素值组合得到所述融合图像。 3.根据权利要求2所述的行为识别方法， 其特征在于， 所述对所述第 二元素值作 标准化 处理得到目标 元素值， 包括： 计算所述第二元 素值的均值； 计算所述第二元 素值的方差； 将所述第二元 素值与所述均值之差除以所述方差， 得到所述目标 元素值。 4.根据权利要求1所述的行为识别方法， 其特征在于， 所述将所述融合图像输入至特征 提取网络进行 特征提取得到目标 特征， 包括： 将所述融合图像进行降采样率处理得到第 二融合图像， 将所述第 二融合图像输入至所 述第一分支得到所述第一特 征； 将所述融合图像输入至所述第二分支得到所述第二特 征； 通过所述融合模块将所述第一特 征和所述第二特 征拼接， 得到所述目标 特征。 5.根据权利要求4所述的行为识别方法， 其特征在于， 所述将所述第 二融合图像输入至 所述第一分支得到所述第一特 征， 包括： 使所述第二融合图像依次经过N个所述第 一特征提取模块进行特征提取得到所述第 一 特征； 其中， 经过所述第一特 征提取模块进行 特征提取， 包括： 使第一输入特征经过至少一个第 一卷积层进行卷积运算得到第 一卷积结果， 所述第 一 输入特征为输入至所述第一特 征提取模块的特 征；权　利　要　求　书 1/3 页 2 CN 114399839 A 2使所述第一卷积结果经 过第一注意力机制模块进行 特征提取得到第一注意力特 征； 将所述第一注意力特征和所述第 一输入特征融合得到第 一输出特征， 所述第 一输出特 征为所述第一特 征提取模块输出的特 征。 6.根据权利要求5所述的行为识别方法， 其特征在于， 将所述融合图像输入至所述第 二 分支得到所述第二特 征， 包括： 使所述融合图像依次经过N个所述第二特征提取模块进行特征提取得到所述第二特 征； 其中， 经过所述第二特 征提取模块进行 特征提取， 包括： 使第二输入特征经过至少一个第 二卷积层进行卷积运算得到第 二卷积结果， 所述第 二 输入特征为输入至所述第二特 征提取模块的特 征； 使所述第二卷积结果经 过第二注意力机制模块进行 特征提取得到第二注意力特 征； 将所述第二注意力特征和所述第 二输入特征融合得到第 二输出特征， 所述第 二输出特 征为所述第二特 征提取模块输出的特 征。 7.根据权利要求6所述的行为识别方法， 其特征在于， 所述使所述第 一卷积结果经过第 一注意力机制模块进行 特征提取得到第一注意力特 征， 包括： 使所述第一卷积结果经过第 一全池化层、 至少一个第 一全连接层和第 一激活函数层得 到第一子注意力特征， 将所述第一子注意力特征和所述第一卷积结果融合得到所述第一注 意力特征； 所述使所述第二卷积结果经过第二注意力机制模块进行特征提取得到第二注意力特 征， 包括： 使所述第二卷积结果经过第 二全池化层、 至少一个第 二全连接层和第 二激活函数层得 到第二子注意力特征， 将所述第二子注意力特征和所述第二卷积结果融合得到所述第二注 意力特征。 8.行为识别装置， 其特 征在于， 包括： 抽帧模块， 用于对输入视频进行抽帧， 得到帧图像； 融合图像获取模块， 用于对每个所述帧图像， 获取所述帧图像的颜色信息和光流信 息， 对所述帧图像的每 个像素的所述颜色信息和所述 光流信息进行融合得到融合图像； 特征提取模块， 用于将所述融合图像输入至特征提取网络进行特征提取得到目标特 征， 其中所述特征提取网络包括第一分支、 第二分支和融合模块， 所述第一分支用于提取表 示所述输入视频的时间维度信息的第一特征， 所述第二分支用于提取表示所述输入视频的 空间维度信息的第二特征， 所述融合模块用于融合所述第一特征和所述第二特征得到所述 目标特征， 所述第一分支包括N个第一特征提取模块， 所述第二分支包括N个第二特征提取 模块， 第n个所述第一特征提取模块的输入为第n ‑1个所述第一特征提取模块的输出， 第n个 所述第二特征提取模块的输入为第n ‑1个所述第一特征提取模块的输出与第n ‑1个所述第 二特征提取模块的输出两者的融合结果， N 为大于或等于2的整数， n 为2至N之间的整数； 分类模块， 用于对所述目标 特征进行分类， 得到行为识别结果。 9.行为识别设备， 包括： 存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项 所述的基于特 征融合的行为识别方法。权　利　要　求　书 2/3 页 3 CN 114399839 A 3