(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221094526 0.0 (22)申请日 2022.08.08 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 张宇佳　吴君娴　孙世颖　赵晓光　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 张晓霞 (51)Int.Cl. G06F 16/74(2019.01) G06F 16/78(2019.01) G06F 16/783(2019.01) G06V 10/80(2022.01) (54)发明名称 视频动态缩略图的生成方法、 装置、 设备和 存储介质 (57)摘要 本发明提供一种视频动态缩略图的生成方 法、 装置、 设备和存储介质， 应用于视频处理技术 领域， 该方法包括： 获取查询文本， 并提取所述查 询文本的文本特征； 基于所述查询文本， 确定待 处理视频； 提取所述待处理视频的初始视频特 征， 并对所述初始视频特征进行划分， 得到多个 视频特征片段； 基于所述多个视频特征片段和所 述文本特征， 生成所述待处理视频的视频动态缩 略图。 本发 明能够实现生 成基于用户检索意图的 视频动态缩略图， 提高了视频动态缩略图的准确 性。 权利要求书2页 说明书10页 附图3页 CN 115455233 A 2022.12.09 CN 115455233 A 1.一种视频动态缩略图的生成方法， 其特 征在于， 包括： 获取查询文本， 并提取 所述查询文本的文本特 征； 基于所述 查询文本， 确定待处 理视频； 提取所述待处理视频的初始视频特征， 并对所述初始视频特征进行划分， 得到多个视 频特征片段； 基于所述多个视频特征片段和所述文本特征， 生成所述待处理视频的视频动态缩略 图。 2.根据权利要求1所述的视频动态缩略图的生成方法， 其特征在于， 所述基于所述多个 视频特征片段和所述文本特 征， 生成所述待处 理视频的视频动态缩略图， 包括： 基于所述多个视频 特征片段和所述文本特 征， 确定视频文本融合特 征； 基于所述视频文本融合特 征和所述多个视频 特征片段， 确定 视觉信息增强融合特 征； 基于所述视觉信息增强融合特征和文本特征， 生成所述待处理视频的视频动态缩略 图。 3.根据权利要求2所述的视频动态缩略图的生成方法， 其特征在于， 所述基于所述多个 视频特征片段和所述文本特 征， 确定视频文本融合特 征， 包括： 分别将所述多个视频特征片段中的各视频特征片段和所述文本特征进行融合， 得到多 个片段融合特 征； 按照所述多个视频特征片段对应的时序信息， 将所述多个片段融合特征进行拼接， 得 到所述视频文本融合特 征。 4.根据权利要求3所述的视频动态缩略图的生成方法， 其特征在于， 所述基于所述视频 文本融合特 征和所述多个视频 特征片段， 确定 视觉信息增强融合特 征， 包括： 基于每个所述视频特征片段和视频文本融合特征通过软注意力机制得到各所述视频 特征片段的加权融合特 征； 将各所述视频特征片段的加权融合特征与对应视频特征片段的视频特征进行拼接和 融合， 得到视觉信息增强融合特征， 所述视觉信息增强融合特征中包括按照所述时序信息 连接的多个视 觉增强融合特 征片段。 5.根据权利要求4所述的视频动态缩略图的生成方法， 其特征在于， 所述基于所述视觉 信息增强融合特 征和文本特 征， 生成所述待处 理视频的视频动态缩略图， 包括： 通过自注意力机制将所述文本特 征进行压缩， 得到第一向量特 征； 分别确定所述第一向量特征与所述视觉信息增强融合特征中的各所述视觉增强融合 特征片段之 间的相似度， 并从所述多个视觉增强融合特征片段中确定相似度最高的目标特 征片段； 基于所述目标特征片段和所述第一向量特征， 确定第二向量特征， 并将所述第二向量 特征作为新的第一向量特征， 重复执行上述确定目标特征片段的步骤， 直至得到的目标特 征片段的数量达 到预设值； 基于所有得到的目标 特征片段， 确定所述待处 理视频的视频动态缩略图。 6.根据权利要求5所述的视频动态缩略图的生成方法， 其特征在于， 所述基于所有得到 的目标特征片段， 确定所述待处 理视频的视频动态缩略图， 包括： 确定各所述目标 特征片段对应的目标视频片段；权　利　要　求　书 1/2 页 2 CN 115455233 A 2按照各所述目标视频片段在所述待处理视频中的时间顺序， 将各所述目标视频片段进 行拼接， 得到所述待处 理视频的视频动态缩略图。 7.一种视频动态缩略图的生成装置， 其特 征在于， 包括： 获取模块， 用于获取查询文本， 并提取 所述查询文本的文本特 征； 确定模块， 用于基于所述 查询文本， 确定待处 理视频； 处理模块， 用于提取所述待处理视频的初始视频特征， 并对所述初始视频特征进行划 分， 得到多个视频 特征片段； 生成模块， 用于基于所述多个视频特征片段和所述文本特征， 生成所述待处理视频的 视频动态缩略图。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述视频动态缩略图的生成方法。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处 理器执行时实现如权利要求1至 6任一项所述视频动态缩略图的生成方法。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述视频动态缩略图的生成方法。权　利　要　求　书 2/2 页 3 CN 115455233 A 3