(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210828331.9 (22)申请日 2022.07.13 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 何琪　 (74)专利代理 机构 深圳市赛恩倍吉知识产权代 理有限公司 4 4334 专利代理师 林丽纯　刘丽华 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06T 7/246(2017.01) G06T 7/269(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 视频特征提取方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及人工智能， 提供一种视频特征提 取方法、 装置、 设备及存储介质。 该方法根据待处 理视频的视频帧率提取目标图像帧， 并基于每个 像素跟踪点的移动信息生 成光流图像， 基于空间 流模型对目标图像帧进行特征提取， 得到空间特 征信息， 基于时间流模型对光流图像进行特征提 取， 得到时间特征信息， 融合空间特征信息与时 间特征信息， 得到准确全面的视频特征信息。 此 外， 本发明还涉及区块链技术， 所述视频特征信 息可存储于区块链中。 权利要求书3页 说明书14页 附图2页 CN 115115991 A 2022.09.27 CN 115115991 A 1.一种视频 特征提取方法， 其特 征在于， 所述视频 特征提取方法包括： 根据接收到的视频 特征提取请求获取待处 理视频； 根据所述待处 理视频的视频帧率 提取多个目标图像帧； 根据所述多个目标图像帧中每 个像素跟踪点的移动信息生成光 流图像； 获取预先训练完成的双层特征提取模型， 所述双层特征提取模型包括空间流模型及时 间流模型； 基于所述空间流模型对所述多个目标图像帧进行特征提取， 得到所述待处理视频的空 间特征信息； 基于所述 时间流模型对所述光流图像进行特征提取， 得到所述待处理视频的时间特征 信息； 融合所述空间特 征信息与所述时间特 征信息， 得到 视频特征信息。 2.如权利要求1所述的视频特征提取方法， 其特征在于， 所述根据 所述待处理视频的视 频帧率提取多个目标图像帧包括： 比较所述视频帧率与预设帧率阈值； 若所述视频帧率大于或者等于所述预设帧率阈值， 则根据 所述视频帧率及所述待处理 视频的视频时长计算所述待处 理视频的总帧数； 计算所述总帧数在预设数量阈值上的占比； 依据所述占比从所述待处 理视频中周期性 提取出所述多个目标图像帧。 3.如权利要求2所述的视频特征提取方法， 其特征在于， 若所述视频帧率小于所述预设 帧率阈值， 所述方法还 包括： 从所述待处理视频中连续提取帧数为所述预设数量阈值的图像帧作为所述多个目标 图像帧。 4.如权利要求1所述的视频特征提取方法， 其特征在于， 所述根据 所述多个目标图像帧 中每个像素跟踪点的移动信息生成光 流图像包括： 对于所述多个目标图像帧中的相邻图像帧， 获取第 一图像帧中每个像素跟踪点的第 一 位置信息， 并获取第二图像 帧中每个像素跟踪点的第二位置信息， 所述相邻图像 帧包括所 述第一图像帧及所述第二图像帧； 根据所述第一 位置信息及所述第二 位置信息计算所述移动信息； 根据所述多个目标图像帧从所述待处理视频的提取方式识别所述多个目标图像帧的 目标帧率； 根据所述移动信息及所述目标帧率计算每 个像素跟踪点的光 流信息； 根据所述 光流信息生成所述 光流图像。 5.如权利要求1所述的视频特征提取方法， 其特征在于， 所述 时间流模型的训练方式包 括： 基于预设卷积层、 第一预设全连接层、 第二预设全连接层及预设激活层构建时间流网 络， 所述时间流网络包括所述预设卷积层的第一网络权值、 所述第一预设全连接层的第二 网络权值、 所述第二预设全连接层的第三网络 权值及所述预设激活层的第四网络 权值； 获取训练图像及所述训练图像的标注特 征； 基于所述时间流网络对所述训练图像进行 预测， 得到预测特 征；权　利　要　求　书 1/3 页 2 CN 115115991 A 2基于所述预测特 征及所述标注特 征计算所述时间流网络的网络损失值； 基于所述网络损失值及所述第四网络权值计算所述预设激活层的激活损失， 基于所述 激活损失及所述第三网络权值计算所述第二预设全连接层的第二全连接损失， 基于所述第 二全连接损失及所述第二网络权值计算所述第一预设全连接层的第一全连接损失， 并基于 所述第一全连接损失及所述第一网络 权值计算所述预设卷积层的卷积损失； 基于所述卷积损失调整所述预设卷积层， 所述第 一全连接损失调整所述第 一预设全连 接层， 所述第二全连接损失调整所述第二预设全连接层， 所述激活损失调整所述预设激活 层， 直至所述网络损失值 不再降低， 得到所述时间流模型。 6.如权利要求1所述的视频特征提取方法， 其特征在于， 所述空间流模型包括空间卷积 层、 归一化层、 第一空间全连接层、 第二空间全连接层及空间激活层， 所述基于所述空间流 模型对所述多个目标图像帧进行 特征提取， 得到所述待处 理视频的空间特 征信息包括： 根据每个目标图像帧的图像 像素构建图像编码向量； 基于所述空间卷积层对所述图像编码向量进行 特征提取， 得到初始特 征向量； 基于所述归一 化层对所述初始特 征向量进行归一 化处理， 得到归一 化向量； 基于所述第一空间全连接层对所述归一 化向量进行映射处 理， 得到中间特 征向量； 基于所述第二空间全连接层对所述中间特 征向量进行 校正处理， 得到校正特 征； 基于所述空间激活层对所述校正特征进行类别预测， 并将所述空间激活层所输出的最 大预测概率所对应的校正特 征确定为所述空间特 征信息。 7.如权利要求1所述的视频特征提取方法， 其特征在于， 所述融合所述空间特征信 息与 所述时间特 征信息， 得到 视频特征信息包括： 计算所述空间特 征信息的转置信息与所述时间特 征信息的乘积， 得到映射特 征信息； 获取与所述映射特征信 息对应的像素信 息， 所述像素信 息包括多个像素位置及每个像 素位置所对应的像素值； 基于所述多个 像素位置拼接所述像素值， 得到所述视频 特征信息。 8.一种视频 特征提取装置， 其特 征在于， 所述视频 特征提取装置包括： 获取单元， 用于根据接收到的视频 特征提取请求获取待处 理视频； 提取单元， 用于根据所述待处 理视频的视频帧率 提取多个目标图像帧； 生成单元， 用于根据所述多个目标图像帧中每个像素跟踪点的移动信息生成光流图 像； 所述获取单元， 还用于获取预先训练完成的双层特征提取模型， 所述双层特征提取模 型包括空间流模型及时间流模型； 所述提取单元， 还用于基于所述空间流模型对所述多个目标图像帧进行特征提取， 得 到所述待处 理视频的空间特 征信息； 所述提取单元， 还用于基于所述时间流模型对所述光流图像进行特征提取， 得到所述 待处理视频的时间特 征信息； 融合单元， 用于融合所述空间特 征信息与所述时间特 征信息， 得到 视频特征信息。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 存储器， 存储有计算机可读指令； 及 处理器， 执行所述存储器 中存储的计算机可读指令以实现如权利要求1至7中任意一项权　利　要　求　书 2/3 页 3 CN 115115991 A 3