(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111649894.3 (22)申请日 2021.12.3 0 (71)申请人 北京爱奇艺科技有限公司 地址 100080 北京市海淀区海淀北一 街2号 11层1101 (72)发明人 毕泊　 (74)专利代理 机构 北京银龙知识产权代理有限 公司 11243 代理人 黄灿 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/762(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 视频中的场景聚类方法、 装置及相关 设备 (57)摘要 本发明实施例提供一种视频中的场景聚类 方法， 包括： 获取视频中的多帧图像； 对多帧图像 进行分类识别， 获取多帧图像中的景点图像； 对 景点图像根据场景分类标签进行场景分类标记， 得到标记后的景点图像； 对 标记后的景点图像进 行特征提取， 获得景点聚类特征数据集； 基于景 点聚类特征数据集进行聚类分析， 获得各场景分 类标签对应的聚类结果。 本发明实施例通过获取 视频中的多帧图像后， 对多帧图像进行标记后， 将图像输入深度学习模型中进行处理从而获得 标记对应的聚类结果， 根据聚类结果可以准确将 同一类型景点图像中不同角度或者露出程度不 同的两张景点图像识别为同一类型景点图像， 实 现了通过获取聚类结果来达到提高识别场景图 片准确率的效果。 权利要求书2页 说明书12页 附图3页 CN 114299435 A 2022.04.08 CN 114299435 A 1.一种视频中的场景聚类方法， 其特 征在于， 包括： 获取视频中的多帧图像； 对所述多帧图像进行分类识别， 获取 所述多帧图像中的景点图像； 对所述景点图像根据场景分类标签进行场景分类标记， 得到标记后的景点图像； 对所述标记后的景点图像进行 特征提取， 获得 景点聚类特 征数据集； 基于所述景点聚类特 征数据集进行聚类分析， 获得 各场景分类标签对应的聚类结果。 2.根据权利要求1中所述的方法， 其特征在于， 所述对所述多帧图像进行分类识别， 获 取所述多帧图像中的景点图像包括： 对所述多帧图像输入到预训练 的第一深度学习模型中进行分类识别， 获取所述多帧图 像中的景点图像。 3.根据权利要求2中所述的方法， 其特征在于， 所述对所述多帧图像输入到预训练的第 一深度学习模型中进行分类识别， 获取 所述多帧图像中的景点图像之前还 包括： 获取创建的分类模型； 通过预设的训练样本对所述分类模型进行训练， 所述训练样本包括第 一景点样本图像 和第一非景点样本图像； 将训练好的分类模型确定为所述第一深度学习模型。 4.根据权利要求1中所述的方法， 其特征在于， 所述对所述标记后的景点图像进行特征 提取， 获得 景点聚类特 征数据集包括： 将所述标记后的景点图像输入到预训练的第 二深度学习模型中进行特征提取， 获得景 点聚类特 征数据集。 5.根据权利要求4中所述的方法， 其特征在于， 所述将所述标记后的景点图像输入到预 训练的第二深度学习模型中进行 特征提取， 获得 景点聚类特 征数据集之前还 包括： 获取创建的特 征提取模型； 通过样本图像对所述特征提取模型进行训练， 所述样本图像基于第 二景点样本图像进 行图像增广后生成； 将训练好的特 征提取模型确定为所述第二深度学习模型。 6.根据权利要求5 中所述的方法， 其特征在于， 所述通过样本图像对所述特征提取模型 进行训练， 所述样本图像 基于所述第二景点样本图像进行图像处 理后生成包括： 将样本图像输入到所述特 征提取模型中提取样本特 征； 基于所述样本特 征生成场景分类特 征库； 根据所述场景分类特征库与分类函数对所述特征提取模型进行训练获取残差网络参 数， 所述分类函数基于所述 地标特征库生成； 基于所述残差网络对所述特 征提取模型进行 更新。 7.根据权利要求1至6中任一项中所述的方法， 其特征在于， 所述基于所述景点聚类特 征数据集进行聚类分析， 获得 各场景分类标签对应的聚类结果包括： 基于所述景点聚类特征数据集获取多个场景分类聚类簇， 所述场景分类聚类簇与 所述 场景分类标签相匹配； 对所述多个场景分类聚类簇中任意两个场景分类聚类簇进行相关性计算， 获取相关性 数值， 其中， 所述任意两个场景分类聚类簇具有相同场景分类标签；权　利　要　求　书 1/2 页 2 CN 114299435 A 2若所述相关性数值小于或等于预设阈值， 则将所述两个场景分类聚类簇合并为新的场 景分类聚类簇， 所述 新的场景分类聚类簇包括至少两个所述场景分类标签； 重复所述任意两个场景分类聚类簇进行相关性计算， 直到所述任意两个场景分类聚类 簇的相关性数值均大于所述预设阈值， 获得 各场景分类标签对应的聚类结果。 8.一种视频中的场景聚类装置， 其特 征在于， 包括： 获取模块， 用于获取视频中的多帧图像； 识别模块， 用于对所述多帧图像进行分类识别， 获取 所述多帧图像中的景点图像； 分类模块， 用于对所述景点图像根据场景分类标签进行场景分类标记， 得到标记后的 景点图像； 提取模块， 用于对所述标记后的景点图像进行 特征提取， 获得 景点聚类特 征数据集； 分析模块， 用于基于所述景点聚类特征数据集进行聚类分析， 获得各场景分类标签对 应的聚类结果。 9.一种电子设备， 其特征在于， 包括处理器， 存储器及存储在所述存储器上并可在所述 处理器上运行的程序或指 令， 所述程序或指 令被所述处理器执行时实现如权利要求 1至7中 任一项所述的视频中的场景聚类方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述可读存储介质上存储有程序或指令， 所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的视频中的场景聚类 方法的步骤。权　利　要　求　书 2/2 页 3 CN 114299435 A 3