(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211280357.0 (22)申请日 2022.10.19 (71)申请人 上海机器人产业 技术研究院有限公 司 地址 200063 上海市普陀区武宁路5 09号18 楼 (72)发明人 占华程　吕雯怡　王国鹏　刘杰　 吴东旭　 (74)专利代理 机构 上海璀汇知识产权代理事务 所(普通合伙) 31367 专利代理师 王文颖 (51)Int.Cl. G06K 9/62(2022.01) (54)发明名称 深度学习误识别数据统计分析方法 (57)摘要 本发明涉及一种深度学习误识别数据统计 分析方法， 结合训练样本和分类预测结果， 将分 类结果和真实标签一致的概率和样本出现概率 相结合作为 分类效果的评估。 对现有分类器的分 类效果做出精确评判， 进一步指导分类器模型训 练。 可以评估分类器整体的分类效果， 还可给出 每一个类别的分类效果， 对于指导训练模型具有 很大的意 义。 权利要求书1页 说明书4页 CN 115470868 A 2022.12.13 CN 115470868 A 1.一种深度学习误识别数据统计分析 方法， 其特 征在于， 具体包括如下步骤： 1)数据采集： 采集所有类别真实样本的总数x、 被识别分类出的样本数y、 第i个类别的 真实样本数量xi、 第i个类别的被预测出样本数量 数yi、 第i个类别的样本中被 正确预测的样 本数量、 训练总样本数w和类别总数n； 2)计算第i个类别的分类效率R(xi|yi)： 为第i个类别进行正确分类的概率P(yi|ai)与样 本被预测为此类别的概 率P(yi)之差R(xi|yi)＝P(yi|ai)‑P(yi)； 3)第i个类别样本分类效果的评估值R'(xi|yi)为第i个类别的分类效率R(xi|yi)与第i 个类别真实样本在总样本中的出现概 率P(xi)之和， 即R'(xi|yi)＝R(xi|yi)+P(xi)； 4)重复步骤3) ‑4)， 计算所有类别类别样本分类效果的评估值； 5)计算分类器整体的分类 效果评估值R'(x|y)： R'(x|y)为分类结果和真实标签一致的 概率P(y|x)减去预测样本出现概率P(y)与真实样本出现概率P(x)之差， 即R'(x|y)＝P(y| x)‑[P(y)‑P(x)]。 2.根据权利要求1所述深度学习误识别数据统计分析方法， 其特征在于， 所述样本被预 测为i类别的概 率 3.根据权利要求1所述深度学习误识别数据统计分析方法， 其特征在于， 所述分类结果 和真实标签一 致的概率 4.一种多分类任务分类器训练方法， 其特征在于， 在保证分类器整体的分类效果评估 值R'(x|y)的前提下， 通过调节关注类别样本分类效果的评估值R'(xi|yi)进行训练。 5.一种多分类任务分类器训练方法， 其特征在于， 将分类器整体的分类效果评估值R' (x|y)作为 一损失函数加入训练中。权　利　要　求　书 1/1 页 2 CN 115470868 A 2深度学习误识别数据统 计分析方 法 技术领域 [0001]本发明涉及 一种数据识别评估技术， 特别涉及一种深度学习误识别数据统计分析 方法。 背景技术 [0002]在深度学习领域， 分类任务是将样本分成两个类别以上的问题。 由于模型的局限 性， 所以对分类结果的好坏判别显得尤为重要， 选择正确的评价指标能够帮助提升模型 的 准确度。 [0003]目前基于混淆矩阵的常用评价指标有： 准确度、 Kapp a系数和F1值； 以三阶混淆矩 阵为例。 [0004] [0005]准确率的定义是 预测正确的结果占总样本的百分比， 其公式如下： [0006] [0007]A、 B、 C分别代表3种类别被正确分类的样本数， W是样本总数； 当各类样本数不均衡 时， 通过准确率 不能够很好的评估分类的好坏。 [0008]F1值是以每个类别为基础进行定义 的， 包括两个部分： 准确率P和召回率  R， 两者 的调和平均数即是 F1值， 其计算公式如下： [0009] [0010]β 是调节系数， 通常根据实际场景量化β 值， 但是F1值无法给出单个类别的分类评 估结果。 [0011]Kappa系数是统计学中的概念， 其计算公式为： [0012] [0013] [0014]其中P0是准确度， rowi和coli分别代表第i个类别的真实样本个数和分类预测的样 本个数。 Kappa系数仍然不能给出单个类别分类结果的准确率评估， 同时， 这种等级划分的说　明　书 1/4 页 3 CN 115470868 A 3