(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211314446.2 (22)申请日 2022.10.26 (71)申请人 山东百盟信息技 术有限公司 地址 264200 山东省威海市环翠区海 滨北 路-106A号威海国际商务大厦1 112号 (72)发明人 付强　赵洪伟　朱东杰　李良敏　 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/52(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于关键帧采样和多尺度稠密网络的 长视频分类方法 (57)摘要 本发明提供了一种基于关键帧采样和多尺 度稠密网络的长视频分类方法， 包括以下部分： S1、 基于直方图差异的视频镜头边缘检测， 对待 分类视频进行镜头分割处理； S2、 基于帧间差值 的镜头内关键帧提取， 提取S1分割出的视频镜头 集合中的关键帧； S3、 基于关键帧的长视频采样， 利用S2提取到的关键帧将长视频按关键帧进行 压缩； S4、 基于多尺度稠密网络MSDNet的视频关 键帧特征提取， 利用多尺度稠密网络MSDNet提取 S3压缩后的视频帧序列的特征表示； S5、 基于 LSTM的视频关键帧序列分类， 将S4提取得到的视 频帧序列特征表示输入LSTM网络得到视频序列 的特征向量， 利用得到的特征向量输入线性分类 器得到分类结果。 权利要求书5页 说明书11页 附图3页 CN 115376052 A 2022.11.22 CN 115376052 A 1.一种基于关键帧采样和多尺度稠密网络的长视频分类方法， 其特征在于， 包括以下 步骤： S1、 基于直方图差异的视频镜 头边缘检测， 对待分类视频进行镜 头分割处 理； S2、 基于帧间差值的镜 头内关键帧提取， 提取S1分割出的视频镜 头集合中的关键帧； S3、 基于关键帧的长 视频采样， 利用S2提取到的关键帧将长 视频按关键帧进行压缩； S4、 基于多尺度稠密网络MSDNet的视频关键帧特征提取， 利用多尺度稠密网络MSDNet 提取S3压缩后的视频帧序列的特 征表示； S5、 基于LSTM 的视频关键帧序列分类， 将S4提取得到 的视频帧序列特征表示输入LSTM 网络得到 视频序列的特 征向量， 利用得到的特 征向量输入线性分类 器得到分类结果。 2.根据权利要求1所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法， 其特征在于， 所述S1包括： S11、 对待分类的长视频进行帧化处理， 并对视频中的所有帧逐帧计算视频帧图像的直 方图； S12、 基于S1 1中计算得到的视频帧图像直方图计算帧间差值并存 储； S13、 基于S12中计算得到的帧间差值信息， 根据基于帧间差值的镜头分割算法对长视 频进行镜 头分割。 3.根据权利要求2所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法， 其特征在于， 所述S1 1对视频中的所有帧逐帧计算视频帧图像的直方图包括： 将待分类的图像从RGB色彩空间转换到HSV色彩空间cvColor； 使用直方图的方法可以 很好的避免镜 头内对象运动而造成的差异， 提高一定 鲁棒性。 4.根据权利要求3所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法， 其特征在于， 所述S12包括： 根据S11计算得到的每个视频帧图像的直 方图， 计算帧与帧之间的帧间差值 ， 计算方式为：         （1） 。 5.根据权利要求4所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法， 其特征在于， 所述S13包括： S131基于帧间差值的镜头边界帧选取和S132基于镜头边界帧的 视频镜头分割与提取两个主 要步骤； 首先执行基于帧间差值的镜头边界帧选取算法选择镜头的边界， 随后根据选定的镜头 边界帧切分视频提取镜 头。 6.根据权利要求5所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法， 其特征在于， 所述S131基于帧间差值的镜 头边界帧选取算法包括： S1311、 设置一个大小为10帧的窗口， 步长为8， 即窗口重叠次数为2； 寻找窗口内帧间差 值 最大的帧定义为可能的边界帧 ， 并判断该帧距离上一个边界帧 的 距离； 如果距离小于 ， 则取消该可能的边界帧 的资格， 否则权　利　要　求　书 1/5 页 2 CN 115376052 A 2定义该帧是一个新的边界帧 ； S1312、 进一步判断边界帧 是否是镜头边缘帧； 计算两个边界帧 之间帧的帧间 差值 的平均值 ， 并判断边界帧 的帧间差值 是 否远大于平均值 ， 预置阈值为6， 即， 当且仅当边界帧 的帧间差值 大于两个边界帧 之间帧平均值 的6倍， 两个边界帧 才得以保留； S1313、 进一步优化选取的镜头边缘， 即， 判断该边界帧 后的小区间内是否有比该 边界帧 更合适的帧； 从确定的边界帧 开始， 往后寻找8帧中的最大帧 ； 若最大帧 的帧间差值 小于边界 帧 的帧间差值 ， 则 边界帧 得以保留； 若最大帧 的帧间差值 大于边界帧 的帧间差值 ， 则计算前 一个边界帧 和最新找到的最大帧 之间帧的帧间差值的平均值 ， 判断最大帧的帧 间差值 是否大于平均值 的倍数， 若没有 大于， 则边界帧 得以保留， 否则最大帧 为新的边界帧 ， 并继续执行镜头边缘 优化； S1314、 最后， 得到待分类视频对应的边界帧 组成的边界帧序列 。 7.根据权利要求5所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法， 其特征在于， 所述 根据选定的镜头边界帧切分视频提取镜 头包括： 根据基于帧间差值的镜头边界帧选取算法选定的边界帧 组成的边界帧序列 ， 以每两个边界帧 为界， 截取视频 帧组成视频子镜头， 所有视频子镜头组成待分类视频 对应的子镜头序列 ， 表示待分类视频对应的子镜头序列中有 个镜头组成。 8.根据权利要求7所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法， 其特征在于， 所述S2包括： S21、 首先计算待分类视频对应的子镜头序列 中的所有子镜头 内的视频帧的帧 间差值的平均值 ， 其中 ， 表示待分类视频对应的子 镜头序列中有 个镜头组成；权　利　要　求　书 2/5 页 3 CN 115376052 A 3