(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210261995.1 (22)申请日 2022.03.16 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 罗永盛　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 李文静 (51)Int.Cl. G06K 9/62(2022.01) G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/40(2022.01)G06V 20/70(2022.01) G06N 20/00(2019.01) (54)发明名称 视频特征提取模型的训练方法和装置 (57)摘要 本申请公开了一种视频特征提取模型的训 练方法和装置， 属于计算机技术领域。 所述方法 包括： 获取样本视频的模态信息和所述样本视频 对应的样 本标签； 基于所述样 本视频对应的样本 标签和训练完成的标签特征提取模 型， 确定所述 样本视频对应的标签特征信息； 基于所述样本视 频的模态信息和待训练的视频特征提取模型， 确 定所述样 本视频对应的视频特征信息； 基于所述 样本视频对应的标签特征信息和视频特征信息， 对所述待训练的视频特征提取模 型进行训练。 采 用本申请， 可以使得训练完成的视频特征提取模 型输出的预测结果更为 准确。 权利要求书2页 说明书14页 附图7页 CN 114626464 A 2022.06.14 CN 114626464 A 1.一种视频 特征提取模型的训练方法， 其特 征在于， 所述方法包括： 获取样本 视频的模态信息和所述样本 视频对应的样本标签； 基于所述样本视频对应的样本标签和训练完成的标签特征提取模型， 确定所述样本视 频对应的标签特 征信息； 基于所述样本视频的模态信 息和待训练的视频特征提取模型， 确定所述样本视频对应 的视频特征信息； 基于所述样本视频对应的标签特征信 息和视频特征信 息， 对所述待训练 的视频特征提 取模型进行训练。 2.根据权利要求1所述的方法， 其特征在于， 所述模态信息包括图像数据、 标题文本数 据、 音频数据和字幕数据中的至少一个。 3.根据权利要求1所述的方法， 其特征在于， 所述模态信 息包括图像数据和标题文本数 据， 所述视频特征提取模型包括图像特征提取子模型、 标题特征提取子模型和模态融合子 模型； 所述基于所述样本视频的模态信 息和待训练 的视频特征提取模型， 确定所述样本视频 对应的视频 特征信息， 包括： 基于所述样本视频的图像数据和待训练的图像特征提取子模型， 确定所述样本视频对 应的图像特 征信息； 基于所述样本视频对应的标题文本数据和待训练 的标题特征提取子模型， 确定所述样 本视频对应的标题特 征信息； 基于待训练的模态融合子模型、 以及所述样本视频对应的图像特征信 息和标题特征信 息， 确定所述样本 视频对应的视频 特征信息。 4.根据权利要求3所述的方法， 其特征在于， 所述样本视频的图像数据包括多个图像帧 数据， 所述图像特 征提取子模型包括图像帧特 征提取模块和图像融合模块； 所述基于所述样本视频的图像数据和待训练 的图像特征提取子模型， 确定所述样本视 频对应的图像特 征信息， 包括： 将每个图像帧数据分别输入待训练 的图像帧特征提取模块， 得到所述每个图像帧数据 对应的图像帧特 征信息； 将所述每个图像帧数据对应的图像帧特征信 息输入待训练 的图像融合模块， 得到所述 样本视频对应的图像特 征信息。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述样本视频对应的标签特征信 息和视频 特征信息， 对所述待训练的视频 特征提取模型进行训练， 包括： 获取其他样本视频对应的样本标签； 基于所述其他样本视频对应的样本标签和所述训练完成的标签特征提取模型， 确定所 述其他样本视频对应的标签特 征信息； 基于所述其他样本视频对应的标签特征信 息、 以及所述样本视频对应的标签特征信 息 和视频特征信息， 对所述待训练的视频 特征提取模型进行训练。 6.根据权利要求5所述的方法， 其特征在于， 所述基于所述其他样本视频对应的标签特 征信息、 以及所述样本视频对应的标签特征信息和视频特征信息， 对所述待训练的视频特 征提取模型进行训练， 包括：权　利　要　求　书 1/2 页 2 CN 114626464 A 2将所述样本视频对应的标签特征信息作为所述样本视频对应的视频特征信息的正样 本， 将所述其他样本视频对应的标签特征信息作为所述样本视频对应的视频特征信息的负 样本， 基于三元组损失函数、 所述其他样本视频对应的标签特征信息、 以及所述样本视频对 应的标签特 征信息和视频 特征信息， 计算损失值； 基于所述损失值， 对所述待训练的视频 特征提取模型进行训练。 7.一种视频 特征提取模型的训练装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取样本 视频的模态信息和所述样本 视频对应的样本标签； 第一确定模块， 用于基于所述样本视频对应的样本标签和训练完成的标签特征提取模 型， 确定所述样本 视频对应的标签特 征信息； 第二确定模块， 用于基于所述样本视频的模态信息和待训练的视频特征提取模型， 确 定所述样本 视频对应的视频 特征信息； 训练模块， 用于基于所述样本视频对应的标签特征信息和视频特征信息， 对所述待训 练的视频 特征提取模型进行训练。 8.一种计算机设备， 其特征在于， 所述计算机设备包括处理器和存储器， 所述存储器中 存储有至少一条指令， 所述至少一条指令由所述处理器加载并执行以实现如权利要求1至 权利要求6任一项所述的视频 特征提取模型的训练方法所 执行的操作。 9.一种计算机可读存储介质， 其特征在于， 所述存储介质中存储有至少一条指令， 所述 至少一条指令由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的视频特 征提取模型的训练方法所 执行的操作。 10.一种计算机程序产品， 其特征在于， 所述计算机程序产品中包括至少一条指令， 所 述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的视频 特征提取模型的训练方法所 执行的操作。权　利　要　求　书 2/2 页 3 CN 114626464 A 3