(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211150518.4 (22)申请日 2022.09.21 (71)申请人 中国平安人寿保险股份有限公司 地址 518000 广东省深圳市福田区福田街 道益田路5033号平安金融中心14、 15、 16、 37、 41、 4 4、 45、 46、 54、 58、 59层 (72)发明人 刘振　陈卓　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 黄涛 (51)Int.Cl. G06F 7/08(2006.01) G06N 20/00(2019.01) (54)发明名称 算法效果评估方法和装置、 电子设备及存储 介质 (57)摘要 本申请实施例提供了一种算法效果评估方 法和装置、 电子设备及存储介质， 属于人工智能 技术领域。 该方法包括： 获取待评估序列和标准 序列， 所述待评估序列包括多个候选数据， 所述 标准序列包括多个标准数据所述待评估序列表 征为待评估算法所输出的结果， 所述标准序列表 征为针对待评估算法的目标结果； 从所有所述标 准数据中依次确定出与各个所述候选数据相 匹 配的标准数据， 得到多个命中结果， 各个所述命 中结果与各个所述候选数据一一对应； 基于所述 标准序列， 确定各个所述命中结果在所述标准序 列中的顺序位置， 得到多个第一顺序排名； 将所 述第一顺序排名输入至目标函数进行计算， 得到 评估得分。 本申请实施例能够提高算法效果评估 的准确性。 权利要求书2页 说明书14页 附图4页 CN 115454377 A 2022.12.09 CN 115454377 A 1.一种算法效果评估方法， 其特 征在于， 所述方法包括： 获取待评估序列和标准序列， 所述待评估序列包括多个候选数据， 所述标准序列包括 多个标准数据， 所述待评估序列表征为待评估算法所输出 的结果， 所述标准序列表征为针 对待评估算法的目标 结果； 从所有所述标准数据中依次确定出与各个所述候选数据相匹配的标准数据， 得到多个 命中结果， 各个所述命中结果与各个所述 候选数据一 一对应； 基于所述标准序列， 确定各个所述命中结果在所述标准序列中的顺序位置， 得到多个 第一顺序排名； 将所述第一 顺序排名输入至目标函数进行计算， 得到 评估得分。 2.根据权利要求1所述的算法效果评估方法， 其特征在于， 所述将所述第 一顺序排名输 入至目标函数进行计算， 得到 评估得分， 包括： 将各个所述第一顺序排名分别输入至目标函数中进行计算， 得到多个相似度得分， 其 中， 所述第一 顺序排名越高， 所述相似度得分越高； 对所述相似度得分进行计算处 理， 得到评估得分。 3.根据权利要求2所述的算法效果评估方法， 其特征在于， 所述对所述相似度得分进行 计算处理， 得到评估得分， 包括： 计算所有所述相似度得分之和， 得到 评估得分。 4.根据权利要求2所述的算法效果评估方法， 其特征在于， 所述对所述相似度得分进行 计算处理， 得到评估得分， 包括： 基于所述待评估序列， 确定所有所述候选数据在所述待评估序列中的顺序位置， 得到 多个第二 顺序排名， 所述第二 顺序排名与所述 候选数据一 一对应； 对所述第二 顺序排名和所述相似度得分进行计算， 得到多个相似排序得分； 计算所有所述相似排序得分之和， 得到 评估得分。 5.根据权利要求4所述的算法效果评估方法， 其特征在于， 所述对所述第 二顺序排名和 所述相似度得分进行计算， 得到多个相似排序得分， 包括： 将各个所述第 二顺序排名依次导入预设权重模型， 得到多个顺序权重数值， 其中， 所述 顺序权重数值与所述候选数据一一对应， 所述顺序权重数值随所述第二顺序排名的名次递 增而递减； 对所述顺序权重数值和所述相似度得分进行乘积计算， 得到多个相似排序得分。 6.根据权利要求1或2所述的算法效果评估方法， 其特征在于， 所述目标函数由以下步 骤得到： 获取所述标准数据的数据数量； 将所述数据数量和预设评估总分输入至预设递减函数进行计算， 得到目标函数。 7.根据权利要求1所述的算法效果评估方法， 其特征在于， 所述从所有所述标准数据中 依次确定出与各个所述 候选数据相匹配的标准数据， 得到多个命中结果， 包括： 当从所有所述标准数据中确定出与 所述候选数据相匹配的标准数据， 将与 所述候选数 据相匹配的所述标准数据确定为命中结果； 当从所有所述标准数据中无法确定出与 所述候选数据相匹配的标准数据， 将预设第 一 数据确定为命中结果。权　利　要　求　书 1/2 页 2 CN 115454377 A 28.一种算法效果评估 装置， 其特 征在于， 所述装置包括： 序列获取模块， 用于获取待评估序列和标准序列， 所述待评估序列包括多个候选数据， 所述标准序列包括多个标准数据， 所述待评估序列表征为待评估算法所输出 的结果， 所述 标准序列表征为针对待评估算法的目标 结果； 数据匹配模块， 用于从所有所述标准数据中依次确定出与各个所述候选数据相匹配的 标准数据， 得到多个命中结果， 各个所述命中结果与各个所述 候选数据一 一对应； 排名匹配模块， 用于基于所述标准序列， 确定各个所述命中结果在所述标准序列中的 顺序位置， 得到多个第一 顺序排名； 得分计算模块， 用于将所述第一 顺序排名输入至目标函数进行计算， 得到 评估得分。 9.一种电子设备， 其特征在于， 所述电子设备包括存储器和处理器， 所述存储器存储有 计算机程序， 所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的算法 效果 评估方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的算法效果评估方 法。权　利　要　求　书 2/2 页 3 CN 115454377 A 3