(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111637372.1 (22)申请日 2021.12.3 0 (71)申请人 智者四海 （北京） 技 术有限公司 地址 100000 北京市海淀区学院路甲5号1 幢三层1#厂房3 -011 (72)发明人 张恒庆　孟凡飞　李飞阳　薛娇　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 代理人 何明伦 (51)Int.Cl. G06F 16/783(2019.01) G06F 40/30(2020.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 视频语义表示方法、 装置、 电子设备和存储 介质 (57)摘要 本发明提供一种视频语义表示方法、 装置、 电子设备和存储介质， 其中方法包括： 获取待表 示视频的视频文本信息和多个视频帧； 分别利用 视频语义表示模型的文本编码器和图片编码器 对视频文本信息和多个视频帧进行语义提取， 得 到视频文本信息的语义向量和多个视频帧的帧 语义向量； 利用视频语义表示模 型的多模态融合 器， 对文本语义向量和多个视频帧的帧语义向量 进行多模态融合， 得到待表示视频的视频语义表 示； 其中， 视频语义表示模型是基于样本视频的 样本文本信息和多个样本视频帧进行自监督学 习得到的， 视频语义表示模型的图片编码器和文 本编码器是基于样本图片以及样本图片的描述 文本预先进行联合训练得到的。 本发 明提高了视 频语义表示的精确性。 权利要求书2页 说明书10页 附图2页 CN 113987274 A 2022.01.28 CN 113987274 A 1.一种视频语义表示方法， 其特 征在于， 包括： 获取待表示视频的视频文本信息和多个视频帧； 分别利用视频语义表示模型的文本编码器和图片编码器对所述视频文本信息和所述 多个视频帧进 行语义提取， 得到所述视频文本信息的文本语义向量和所述多个视频帧的帧 语义向量； 利用所述视频语义表示模型的多模态融合器， 对所述文本语义向量和所述多个视频帧 的帧语义向量进行多模态融合， 得到所述待表示视频的视频语义表示； 其中， 所述视频语义表示模型是基于样本视频的样本文本信 息和多个样本视频帧进行 自监督学习得到的， 所述视频语义表示模型的图片编 码器和文本编 码器是基于样本图片以 及所述样本图片的描述文本预 先进行联合训练得到的。 2.根据权利要求1所述的视频语义表示方法， 其特征在于， 所述利用所述视频语义表示 模型的多模态融合器， 对所述文本语义向量和所述多个视频帧的帧语义向量进行多模态融 合， 得到所述待表示视频的视频语义表示， 具体包括： 对所述多个视频帧的帧语义向量进行语义融合， 得到帧融合向量； 对所述文本语义向量和所述帧融合向量进行多模态融合， 得到所述待表示视频的视频 语义表示。 3.根据权利要求2所述的视频语义表示方法， 其特征在于， 所述对所述文本语义向量和 所述帧融合向量进行多模态融合， 得到所述待表示视频的视频语义表示， 具体包括： 基于所述文本语义向量的自相关性， 以及所述文本语义向量和所述帧融合向量之间的 互相关性， 提取所述文本语义向量的文本 关键语义向量以及所述帧融合向量的帧关键语义 向量； 将所述文本关键语义向量和所述帧关键语义向量进行语义融合， 得到所述待表示视频 的视频语义表示。 4.根据权利要求3所述的视频语义表示方法， 其特征在于， 所述基于所述文本语义向量 的自相关性， 以及所述文本语义向量和所述帧融合向量之间的互相关性， 提取所述文本语 义向量的文本关键语义向量以及所述帧融合向量的帧关键语义向量， 具体包括： 基于所述多模态融合器的自注意力交互层， 对所述文本语义向量进行自注意力变换， 得到所述文本语义向量的文本关键语义向量； 基于所述多模态融合器的交叉注意力交互层， 对所述文本关键语义向量和所述帧融合 向量进行交叉注意力变换， 得到所述帧融合向量的帧关键语义向量。 5.根据权利要求1所述的视频语义表示方法， 其特征在于， 所述视频语义表示模型的损 失函数包括词预测损失和图文匹配损失； 其中， 所述词预测损失用于表征所述视频语义表示模型对所述样本文本信 息中被替换 为标签的词的预测结果与所述样本文本信息中被替换为标签的词之间的差异； 所述图文匹配损失用于表征所述视频语义表示模型预测所述样本文本信息的语义和 所述多个样本 视频帧的语义是否匹配的准确度。 6.根据权利要求1所述的视频语义表示方法， 其特征在于， 所述视频语义表示模型的图 片编码器和文本编码器是基于样本图片以及所述样本图片的描述文本进行对比学习得到 的， 所述对比学习的学习目标为任一样本图片的图片编 码结果与所述任一样本图片的描述权　利　要　求　书 1/2 页 2 CN 113987274 A 2文本的文本编码结果之间的相似度高于所述任一样本图片的图片编码结果与任一其他样 本图片的描述文本的文本编码结果之间的相似度。 7.根据权利要求1至6任一项所述的视频语义表示方法， 其特征在于， 所述多个视频帧 是对所述待表示视频进行关键帧抽取后得到的。 8.一种视频语义表示装置， 其特 征在于， 包括： 信息获取 单元， 用于获取待表示视频的视频文本信息和多个视频帧； 向量提取单元， 用于分别利用视频语义表示模型的图片编码器和文本编码器对所述视 频文本信息和所述多个视频帧进 行语义提取， 得到所述视频文本信息的文本语义向量和所 述多个视频帧的帧语义向量； 多模态融合单元， 用于利用所述视频语义表示模型的多模态融合器， 对所述文本语义 向量和所述多个视频帧的帧语义向量进行多模态融合， 得到所述待表示视频的视频语义表 示； 其中， 所述视频语义表示模型是基于样本视频的样本文本信 息和多个样本视频帧进行 自监督学习得到的， 所述视频语义表示模型的图片编 码器和文本编 码器是基于样本图片以 及所述样本图片的描述文本预 先进行联合训练得到的。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述视频语义表示方法的步骤。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至7任一项所述视频语义表示方法的步骤。权　利　要　求　书 2/2 页 3 CN 113987274 A 3