(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210938468.X (22)申请日 2022.08.05 (71)申请人 网易 （杭州） 网络有限公司 地址 310052 浙江省杭州市滨江区长河街 道网商路59 9号4幢7层 (72)发明人 黄泱柯　吴凯琳　姜波　胡光龙　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 孙宝海 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 视频分类方法、 模型训练方法、 装置、 介质、 电子设备 (57)摘要 本公开的实施方式涉及计算机技术领域， 更 具体地， 本公开的实施方式涉及视频分类方法、 模型训练方法、 装置、 介质、 电子设备。 方法包括： 提取待分类视频的m种模态特征， 所述m种模态特 征包括视频图像特征、 音 频特征以及文本特征中 的至少两种， m为大于等于2的整数； 融合所述 m种 模态特征， 获得融合特征； 将所述融合特征与所 述m种模态特征融合， 获得综合特征； 将所述综合 特征输入分类模 型， 以获得所述待分类视频的分 类结果。 本公开的技术方案能够提高视频分类结 果的精确度。 权利要求书2页 说明书19页 附图9页 CN 115311599 A 2022.11.08 CN 115311599 A 1.一种视频分类方法， 其特 征在于， 包括： 提取待分类视频的m种模态特征， 所述m种模态特征包括视频图像特征、 音频特征以及 文本特征中的至少两种， m为大于等于2的整数； 融合所述m种模态特 征， 获得融合特 征； 将所述融合特 征与所述m种模态特 征融合， 获得综合特 征； 将所述综合特 征输入分类模型， 以获得 所述待分类视频的分类结果。 2.根据权利要求1所述的视频分类方法， 其特征在于， 所述提取待分类视频的m种模态 特征包括如下步骤中的至少两个步骤： 提取待分类视频的视频图像特 征； 提取待分类视频的音频 特征； 提取待分类视频的文本特 征。 3.根据权利要求2所述的视频分类方法， 其特征在于， 所述提取待分类视频的视频图像 特征包括： 将所述待分类视频划分为p段视频， 并于每段视频中采样获得一图像帧， p为大于等于2 的整数； 将所采样的p张图像帧输入至图像特 征提取模型； 将所述图像特 征提取模型的输出 数据作为待分类视频的视频图像特 征。 4.根据权利要求3所述的视频分类方法， 其特征在于， 所述图像特征提取模型训练时， 所述将所述待分类视频划分为p段视频， 并于每段视频中采样获得一图像帧包括： 于每段视频中随机采样获得一图像帧。 5.根据权利要求3所述的视频分类方法， 其特征在于， 所述图像特征提取模型进行特征 提取时， 所述将所述待分类视频划分为p段视频， 并于每段视频中采样获得一图像帧包括： 于每段视频中的设定位置处采样获得一图像帧。 6.一种分类模型训练方法， 其特 征在于， 包括： 提取样本视频的m种模态特征， 所述m种模态特征包括视频图像特征、 音频特征以及文 本特征中的至少两种， m为大于等于2的整数； 融合所述m种模态特 征， 获得融合特 征； 将所述融合特 征与所述m种模态特 征融合， 获得综合特 征； 将所述综合特 征输入所述分类模型获得 所述分类模型输出的分类结果； 根据所述分类结果以及所述样本 视频的分类标签训练所述分类模型。 7.一种视频分类装置， 其特 征在于， 包括： 第一特征提取模块， 用于提取待分类视频的m种模态特征， 所述m种模态特征包括视频 图像特征、 音频特征以及文本特 征中的至少两种， m为大于等于2的整数； 第一融合特 征获取模块， 用于融合所述m种模态特 征， 获得融合特 征； 第一综合特征获取模块， 用于将所述融合特征与所述m种模态特征融合， 获得综合特 征； 第一分类模块， 用于将所述综合特征输入分类模型， 以获得所述待分类视频的分类结 果。 8.一种分类模型训练装置， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 115311599 A 2第二特征提取模块， 用于提取样本视频的m种模态特征， 所述m种模态特征包括视频图 像特征、 音频特征以及文本特 征中的至少两种， m为大于等于2的整数； 第二融合特 征获取模块， 用于融合所述m种模态特 征， 获得融合特 征； 第二综合特征获取模块， 用于将所述融合特征与所述m种模态特征融合， 获得综合特 征； 第二分类模块， 用于将所述综合特征输入所述分类模型获得所述分类模型输出的分类 结果； 训练模块， 用于根据所述分类结果以及所述样本 视频的分类标签训练所述分类模型。 9.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器执行 时实现： 权利要求1～5中任一项所述的视频分类方法； 和/或 权利要求6所述的分类模型训练方法。 10.一种电子设备， 其特 征在于， 包括： 处理器； 以及 存储器， 用于存 储所述处 理器的可 执行指令； 其中， 所述处 理器配置为经由执 行所述可执行指令来执 行： 权利要求1～5中任一项所述的视频分类方法； 和/或 权利要求6所述的分类模型训练方法。权　利　要　求　书 2/2 页 3 CN 115311599 A 3