(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210219364.3 (22)申请日 2022.03.08 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 郭卉　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 李文静 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/74(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 视频片段的识别方法、 装置、 设备以及存储 介质 (57)摘要 本申请公开了一种视频片段的识别方法、 装 置、 设备以及存储介质， 可应用于计算机技术中 的视频片段识别、 人工智 能以及车载等场景。 通 过本申请实施例提供的技术方案， 基于视频帧特 征之间的相似度， 确定包含相似视频帧的视频帧 对。 基于出现时间差值来对视频帧对中的第一视 频帧进行融合， 得到至少一个候选视频片段。 最 终从至少一个候选视频片段中确定出处于目标 时间范围的目标视频片段。 确定目标片段的过程 无需人工参与， 由计算机设备直接基于第一视频 和至少一个第二视频就能够自动进行， 效率较 高。 权利要求书4页 说明书30页 附图8页 CN 114550070 A 2022.05.27 CN 114550070 A 1.一种视频片段的识别方法， 其特 征在于， 所述方法包括： 基于第一视频的视频帧特征以及至少一个第二视频的视频帧特征， 确定多个视频帧 对， 所述视频帧对包括相似度符合相似度条件的第一视频帧和第二视频帧， 所述第一视频 帧属于所述第一视频， 所述第二视频帧属于所述至少一个第二视频； 基于所述多个视频帧对的出现时间差值， 将所述多个视频帧对中的第 一视频帧进行融 合， 得到所述第一视频中的至少一个候选视频片段， 所述出现时间差值是指所述视频帧对 中的两个视频帧在视频中的出现时间之间的差值； 基于所述至少一个候选视频片段以及目标时间范围， 确定所述第 一视频中的至少一个 目标视频片段， 所述目标视频片段处于所述第一视频的所述目标时间范围内。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述多个视频帧对的出现时间差 值， 将所述多个视频帧对中的第一视频帧进行融合， 得到所述第一视频中的至少一个候选 视频片段包括： 基于所述多个视频帧对的出现时间差值， 将所述多个视频帧对划分为多个视频帧组， 同一个所述视频帧组中的视频帧对 对应于同一个出现时间差值； 对于所述多个视频帧组中的任一视频帧组， 按照所述视频帧组中视频帧对的第 一视频 帧在所述第一视频中的出现时间， 将所述视频帧组中视频帧对的第一视频帧融合为一个所 述候选视频片段。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述多个视频帧对的出现时间差 值， 将所述多个视频帧对划分为多个视频帧组包括： 将出现时间差值相同的视频帧对划分为 一个初始视频帧组； 基于多个初始视频帧组对应的出现时间差值， 将所述多个初始视频帧组进行融合， 得 到所述多个视频帧组。 4.根据权利要求3所述的方法， 其特征在于， 所述基于多个初始视频帧组对应的出现时 间差值， 将所述多个初始视频帧组进行融合， 得到所述多个视频帧组包括： 按照目标顺序对所述多个初始视频帧组进行排序， 得到多个候选 视频帧组； 在所述多个候选视频帧组中任两个相邻的候选视频帧组之间的匹配时间差值符合匹 配时间差值条件的情况下， 将所述两个相邻的候选视频帧组融合为一个视频帧组， 所述匹 配时间差值是指所述两个相邻的候选 视频帧组对应的出现时间差值之间的差值。 5.根据权利要求4所述的方法， 其特征在于， 所述两个相邻的候选视频帧组包括第 一候 选视频帧组和 第二候选视频帧组， 所述将所述两个相 邻的候选视频帧组融合为一个视频帧 组包括： 在所述第一候选视频帧组对应的出现时间差值与所述第二候选视频帧组对应的出现 时间差值之 间的匹配时间差值小于或等于匹配差值阈值的情况下， 将所述第一候选视频帧 组中的视频帧对添加至所述第二 候选视频帧组， 得到所述视频帧组。 6.根据权利要求5所述的方法， 其特征在于， 所述将所述第 一候选视频帧组中的视频帧 对添加至所述第二 候选视频帧组， 得到所述视频帧组包括： 将所述第一 候选视频帧组中的视频帧对添加至所述第二 候选视频帧组； 基于所述第 二候选视频帧组对应的出现时间差值， 采用参考第 二视频帧替换目标第 二 视频帧， 得到所述视频帧组， 所述 目标第二视频帧为新添加至所述第二候选视频帧组中的权　利　要　求　书 1/4 页 2 CN 114550070 A 2第二视频帧， 所述参考第二视频帧为所述第二视频中与目标第一视频帧之 间的出现时间差 值为所述第二候选视频帧组对应的出现时间差值的第二视频帧， 所述目标第一视频帧为所 述目标第二视频帧所属视频帧对中的第一视频帧。 7.根据权利要求2所述的方法， 其特征在于， 所述按照所述视频帧组中视频帧对的第 一 视频帧在所述第一视频中的出现时间， 将所述视频帧组中视频帧对的第一视频帧融合为一 个所述候选视频片段包括： 比较所述视频帧组中任两个相邻的视频帧对的第一视频帧在所述第一视频中的出现 时间； 在所述两个相邻的视频帧对的第一视频帧在所述第一视频中的出现时间之间的差值 符合出现时间条件的情况 下， 将所述两个相邻的视频帧对添加至临时帧列表； 在所述两个相邻的视频帧对的第一视频帧在所述第一视频中的出现时间之间的差值 不符合出现时间条件的情况 下， 将所述临时帧列表中的视频帧对融合 为参考视频片段； 基于多个参 考视频片段， 确定所述至少一个候选 视频片段。 8.根据权利要求7所述的方法， 其特征在于， 所述多个参考视频片段包括第 一重合视频 片段和/或第二重合视频片段， 所述第一重合视频片段是指属于所述多个参考视频片段中 第一参考视频片段的参考视频片段， 所述第二重合视频片段是指与所述多个参考视频片段 中第二参考视频片段部分重合的参考视频片段， 所述基于多个参考视频片段， 确定所述至 少一个候选 视频片段包括下述至少一项： 在所述多个参考视频片段包括所述第 一重合视频片段的情况下， 将所述第 一重合视频 片段删除， 得到所述至少一个候选 视频片段； 在所述多个参考视频片段包括所述第 二重合视频片段的情况下， 将所述第 二重合视频 片段与所述第二 参考片段之间的重合部分删除， 得到所述至少一个候选 视频片段。 9.根据权利要求8所述的方法， 其特征在于， 所述在所述多个参考视频片段包括所述第 二重合视频片段的情况下， 将所述第二重合视频片段与所述第二参考片段之间的重合部分 删除之后， 所述方法还 包括： 比较第三类参考视频片段的时长与目标时长， 所述第 三类参考视频片段是指删除重合 部分的所述第二重合视频片段； 在所述第三类参考视频片段的时长大于或等于所述目标时长的情况下， 保留所述第 三 类参考视频片段； 在所述第三类参考视频片段的时长小于所述目标时长的情况下， 删除所述第 三类参考 视频片段。 10.根据权利要求1所述的方法， 其特征在于， 所述基于所述至少一个候选视频片段以 及目标时间范围， 确定所述第一视频中的至少一个目标视频片段包括： 基于所述至少一个候选视频片段， 确定至少一个目标候选视频片段， 所述目标候选视 频片段在所述至少一个候选 视频片段中的出现次数符合次数 条件； 在任一所述目标候选视频片段在所述第一视频中的出现时间处于所述目标时间范围 的情况下， 将所述目标候选 视频片段确定为所述第一视频中的目标视频片段。 11.根据权利要求10所述的方法， 其特征在于， 所述基于所述至少一个候选视频片段， 确定至少一个目标候选 视频片段包括：权　利　要　求　书 2/4 页 3 CN 114550070 A 3