(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210116155.6 (22)申请日 2022.01.28 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 刘刚　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 李文静 (51)Int.Cl. G06F 16/75(2019.01) G06F 16/783(2019.01) G06F 16/735(2019.01) G06K 9/62(2022.01) G06N 20/00(2019.01)G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 视频场景分类模 型的训练样 本生成方法、 装 置及设备 (57)摘要 本申请公开了一种视频场景分类模型的训 练样本生成方法、 装置及设备， 属于人工智 能技 术领域。 所述方法包括： 获取样本视频； 对各个样 本图像帧分别进行视频特征提取， 得到各个样本 图像帧分别对应的视频特征； 对 各个样本图像帧 分别进行场景特征提取， 得到各个样本图像帧分 别对应的图像场景特征； 根据各个样本图像帧分 别对应的视频特征， 以及各个样 本图像帧分别对 应的图像场景特征， 生成样本视频对应的训练样 本。 本申请， 提供了一种针对视频的自动化场景 分类模式， 提高场景分类结果的准确性， 提高视 频场景分类的效率， 视频场景分类模 型在训练过 程中既能够以样本视频为单位学习视频特征， 又 能够以单独的样本图像帧为单位学习图像场景 特征。 权利要求书5页 说明书22页 附图12页 CN 114461853 A 2022.05.10 CN 114461853 A 1.一种视频场景分类模型的训练样本生成方法， 其特 征在于， 所述方法包括： 获取样本 视频， 所述样本 视频包括多个连续的样本图像帧； 对各个所述样本图像帧分别进行视频特征提取， 得到各个所述样本图像帧分别对应的 视频特征， 所述视频特征用于描述所述样本图像帧包含的特征， 以及所述样本图像 帧与关 联样本图像 帧之间的变化特征； 其中， 所述关联样本图像 帧是指在所述样本视频中与所述 样本图像帧具有关联关系的图像帧； 对各个所述样本图像帧分别进行场景特征提取， 得到各个所述样本图像帧分别对应的 图像场景 特征； 其中， 所述图像场景 特征用于描述所述样本图像帧所属的场景； 根据各个所述样本图像帧分别对应的视频特征， 以及各个所述样本图像帧分别对应的 图像场景特征， 生成所述样 本视频对应的训练样本； 其中， 所述训练样本用于对视频场景分 类模型进行训练， 所述视频场景分类模型用于识别视频 所属的场景。 2.根据权利要求1所述的方法， 其特征在于， 所述训练样本包括所述样本视频针对所述 视频场景分类模型的输入数据； 所述根据 各个所述样本图像帧分别对应的视频特征， 以及各个所述样本图像帧分别对 应的图像场景 特征， 包括： 对于各个所述样本图像帧中的目标样本图像帧， 对所述目标样本图像帧对应的视频特 征， 以及所述 目标样本图像 帧对应的图像场景特征进行拼接， 得到所述 目标样本图像 帧对 应的拼接场景 特征； 其中， 所述输入数据包括各个所述样本图像帧分别对应的拼接场景 特征。 3.根据权利要求1所述的方法， 其特征在于， 所述训练样本包括所述样本视频针对所述 视频场景分类模型的场景分类标签， 所述场景分类标签用于指示所述样本视频所属的场 景； 所述根据 各个所述样本图像帧分别对应的视频特征， 以及各个所述样本图像帧分别对 应的图像场景 特征， 包括： 根据各个所述样本 图像帧分别对应的视频特征， 确定所述样本视频的第一场景标签； 其中， 所述第一场景 标签用于指示所述样本 视频所属的候选场景； 根据至少一个所述样本图像帧分别对应的图像场景特征， 获取至少一个所述样本图像 帧分别对应的第二场景标签； 其中， 所述第二场景标签用于指示所述样本图像 帧所属的场 景； 基于所述第一场景标签， 以及至少一个所述样本 图像帧分别对应的第二场景标签， 确 定所述样本 视频的场景分类标签。 4.根据权利要求3所述的方法， 其特征在于， 所述根据各个所述样本图像帧分别对应的 视频特征， 确定所述样本 视频的第一场景 标签， 包括： 根据各个所述样本图像帧分别对应的视频 特征， 确定所述样本 视频的场景 特征； 基于所述样本 视频的场景 特征， 确定所述样本 视频的第一场景 标签。 5.根据权利要求3所述的方法， 其特征在于， 所述根据至少一个所述样本图像帧分别对 应的图像场景 特征， 获取至少一个所述样本图像帧分别对应的第二场景 标签， 包括： 根据采样时间， 对所述样本视频中的多个所述样本 图像帧进行采样， 得到至少一个采 样样本图像帧；权　利　要　求　书 1/5 页 2 CN 114461853 A 2从所述采样样本图像帧对应的图像场景特征中， 获取所述采样样本图像帧针对各个场 景的特征； 获取所述采样 样本图像帧属于各个场景的概 率； 根据所述采样样本图像帧针对各个场景的特征， 以及所述采样样本图像帧属于各个场 景的概率， 确定所述采样 样本图像帧的场景 特征； 基于所述采样样本图像帧的场景特征， 确定所述采样样本图像帧对应的第二场景标 签。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述采样样本图像帧针对各个场 景的特征， 以及所述采样样本图像 帧属于各个场景 的概率， 确定所述采样样本图像 帧的场 景特征， 包括： 基于所述采样样本图像帧属于各个场景的概率， 从所述采样样本图像帧针对各个场景 的特征中， 选择至少一个概 率满足第一条件的目标场景的特 征； 对各个所述目标场景的特 征进行融合， 得到所述采样 样本图像帧的场景 特征。 7.根据权利要求3所述的方法， 其特征在于， 所述基于所述第一场景标签， 以及至少一 个所述样本图像帧分别对应的第二场景 标签， 确定所述样本 视频的场景分类标签， 包括： 根据所述第 一场景标签， 以及至少一个所述样本图像帧分别对应的第 二场景标签之间 的交集， 确定所述样本 视频的场景分类标签。 8.根据权利要求7所述的方法， 其特征在于， 所述场景分类标签包括主要分类标签和次 要分类标签； 所述根据 所述第一场景标签， 以及至少一个所述样本图像帧分别对应的第 二场景标签 之间的交集， 确定所述样本 视频的场景分类标签， 包括： 根据所述第 一场景标签， 以及至少一个所述样本图像帧分别对应的第 二场景标签之间 的交集， 确定所述样本 视频的至少一个候选分类标签； 获取各个所述 候选分类标签在各个所述第二场景 标签中的重要程度； 将所述重要程度满足第二条件的候选分类标签确定为所述主要分类标签； 以及， 将所 述至少一个候选分类标签中除所述主要分类标签之外的其它分类标签， 确定为所述次要分 类标签。 9.根据权利要求1至8任一项所述的方法， 其特征在于， 所述根据各个所述样本 图像帧 分别对应的视频特征， 以及各个所述样本图像 帧分别对应的图像场景特征， 生成所述样本 视频对应的训练样本之后， 还 包括： 将所述训练样本 中的输入数据输入至所述视频场景分类模型， 得到所述视频场景分类 模型输出的针对所述样本 视频的场景分类结果； 基于各个所述样本视频的场景分类结果， 以及各个所述样本视频分别对应的训练样本 中的场景分类标签， 对所述视频场景分类模型进行参数调整。 10.根据权利要求9所述的方法， 其特征在于， 所述场景分类结果包括所述样本视频所 属的至少一个场景类别， 以及所述样本视频属于各个所述场景类别的概率； 所述场景分类 标签包括主 要分类标签和次要分类标签； 所述基于各个所述样本视频的场景分类结果， 以及各个所述样本视频分别对应的训练 样本中的场景分类标签， 对所述视频场景分类模型进行参数调整， 包括：权　利　要　求　书 2/5 页 3 CN 114461853 A 3