(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111663170.4 (22)申请日 2021.12.31 (71)申请人 联想 （北京） 有限公司 地址 100085 北京市海淀区上地西路6号2 幢2层201- H2-6 (72)发明人 唐晓璇　吕广奕　章学敏　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 代理人 姚璐　蒋雅洁 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 一种模型检测方法、 装置、 设备以及存储介 质 (57)摘要 本申请实施例公开了一种模 型检测方法、 装 置、 设备以及存储介质， 该方法包括： 将待检测数 据输入目标预测模型， 得到预测结果； 对待检测 数据进行特征提取， 确定待检测数据对应的多个 特征； 对多个特征进行多模态融合处理， 得到待 检测数据对应的目标特征； 通过度量模型确定目 标预测模型对应的训练样本分布信息， 对训练样 本分布信息和目标特征进行度量计算， 得到度量 结果； 根据度量结果， 确定 预测结果是否正确。 这 样， 利用待检测数据的目标特征和训练样本分布 信息之间的度量结果， 能够判断目标预测模型的 预测结果是否正确， 进而对生产环 境中的目标预 测模型进行监 督。 权利要求书2页 说明书13页 附图3页 CN 114419420 A 2022.04.29 CN 114419420 A 1.一种模型检测方法， 所述方法包括： 将待检测数据输入目标 预测模型， 得到预测结果； 对所述待检测数据进行 特征提取， 确定所述待检测数据对应的多个特 征； 对所述多个特 征进行多模态融合处 理， 得到所述待检测数据对应的目标 特征； 通过度量模型确定所述目标预测模型对应的训练样本分布信 息， 对所述训练样本分布 信息和所述目标 特征进行度量计算， 得到度量结果； 根据度量结果， 确定所述预测结果是否正确。 2.根据权利要求1所述的方法， 所述度量模型包括抗遗忘模块和至少一个度量计算子 模型， 所述通过度量模型确定所述 目标预测模型对应的训练样本分布信息， 对所述训练样 本分布信息和所述目标 特征进行度量计算， 得到度量结果， 包括： 从所述抗遗忘模块获取 所述训练样本分布信息； 基于所述至少一个度量计算子模型对所述目标特征和所述训练样本分布信息进行计 算， 得到至少一个度量分数信息； 将所述至少一个度量分数信息确定为所述度量结果。 3.根据权利要求2所述的方法， 所述方法还 包括： 在所述预测结果 正确的情况 下， 输出所述预测结果； 在所述预测结果错误的情况下， 确定所述待检测数据确定为异常数据； 将所述异常数 据存储到目标区域； 以及在所述 目标区域中异常数据的数量达到目标阈值时， 利用所有的 异常数据对所述目标 预测模型和所述度量模型进行 更新处理。 4.根据权利要求3所述的方法， 在所述预测结果 错误的情况 下， 所述方法还 包括： 对所述至少一个度量分数信息进行插值计算， 得到所述异常数据的异常值； 对所述异常数据的异常值和异常阈值进行比较， 确定所述异常数据的异常类别； 其中， 所述异常类别至少包括以下的其中一种： 新类型样本、 难学习样本或者漂移样本 。 5.根据权利要求4所述的方法， 在所述确定所述异常数据的异常类别之后， 所述方法还 包括： 根据所述异常数据的异常类别， 确定所述异常数据的标注建议信息； 根据所述异常数据的标注建议信息向用户发送所述异常数据； 接收用户发送的所述异常数据的真实标签。 6.根据权利要求5所述的方法， 所述利用所有的异常数据对所述目标预测模型进行更 新处理， 包括： 对属于新类型样本的异常数据、 属于难学习样本的异常数据和属于漂移样本的异常数 据进行统计， 得到统计结果； 根据所述统计结果， 确定数据偏移值； 在所述数据偏移值大于偏移阈值的情况下， 基于第一类更新策略， 利用所有的异常数 据和所有的异常数据的真实标签对所述目标 预测模型进行 更新处理； 在所述数据偏移值小于或等于偏移阈值的情况下， 基于第二类更新策略， 利用所有的 异常数据和所有的异常数据的真实标签对所述目标 预测模型进行 更新处理； 其中， 所述目标预测模型的原始模型特征在所述第 一类更新策略中的保留比例小于所 述目标预测模型的原 始模型特征在所述第二类更新策略中的保留比例。权　利　要　求　书 1/2 页 2 CN 114419420 A 27.根据权利要求3 ‑6任一项所述的方法， 所述方法还 包括： 对原始训练样本进行训练， 建立所述目标 预测模型； 以及， 获取所述原始训练样本的目标特征， 根据所述原始训练样本的目标特征， 确定所述目 标预测模型的训练样本分布信息； 将所述训练样本分布信息存 储到所述 抗遗忘模块； 在所述预测结果正确的情况下， 利用所述待检测数据的目标特征对所述抗遗忘模块中 的所述训练样本分布信息进行 更新； 在所述预测结果错误的情况下， 在利用所述异常数据和所述异常数据的真实标签对所 述目标预测模型进行训练的过程中， 确定所述异常数据的目标特征对所述抗遗忘模块中的 所述训练样本分布信息进行 更新。 8.一种模型检测装置， 包括： 预测单元， 配置为将待检测数据输入目标 预测模型， 得到预测结果； 提取单元， 配置为对所述待检测数据进行特征提取， 确定所述待检测数据对应的多个 特征； 融合单元， 配置为对所述多个特征进行多模态融合处理， 得到所述待检测数据对应的 目标特征； 计算单元， 配置为通过度量模型确定所述目标预测模型对应的训练样本分布信息， 对 所述训练样本分布信息和所述目标 特征进行度量计算， 得到度量结果； 处理单元， 配置为 根据所述度量结果， 确定所述预测结果是否正确。 9.一种电子设备， 包括存 储器和处 理器； 其中， 所述存储器， 用于存 储能够在所述处 理器上运行的计算机程序； 所述处理器， 用于在运行 所述计算机程序时， 执 行如权利要求1至7任一项所述的方法。 10.一种计算机存储介质， 其特征在于， 所述计算机存储介质存储有计算机程序， 所述 计算机程序被至少一个处 理器执行时实现如权利要求1至7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114419420 A 3