(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211225312.3 (22)申请日 2022.10.09 (71)申请人 浩鲸云计算科技股份有限公司 地址 210000 江苏省南京市雨 花台区安德 门大街50号B座6楼 (72)发明人 鲍钟峻　吴小炎　朱学帅　赵涛　 (74)专利代理 机构 南京中盟科创知识产权代理 事务所 (特殊普通合伙) 32279 专利代理师 孙丽君 (51)Int.Cl. G06Q 30/02(2012.01) G06N 5/04(2006.01) G06N 20/00(2019.01) (54)发明名称 一种助力企业精细化运营的模型可解释性 分析新方法 (57)摘要 本发明公开了一种助力企业精细化运营的 模型可解释性分析新方法， 包括以下步骤： S1、 构 建初始的原始场景机器学习模型； S2、 对初始的 原始场景机器学习模型进行效果验证； S3、 输出 该模型在测试集上的预测概率值； S4、 设置模型 解释样本的圈选阈值， 筛选模型解释样本； S5、 构 建模型解释回归树模型； S6、 输出模型解释回归 树模型的拟合概率值； S7、 对模型解释回归树模 型进行效果测评； S8、 输出最优版本的解释回归 树模型的学习规则， 利用学习规则反向解释原始 场景机器学习模 型的机器学习逻辑。 本发明采用 树回归模型对原始机器学习模型进行解释， 实现 以机器学习解释机器学习的模式输出机器学习 逻辑， 为企业精细化 运营提供业 务策略支撑 。 权利要求书2页 说明书7页 附图5页 CN 115293827 A 2022.11.04 CN 115293827 A 1.一种助力企业精细化运营的模型可解释性分析新方法， 其特征在于， 该助力企业精 细化运营的模型 可解释性分析新方法包括以下步骤： S1、 企业按照具体的场景目标选择相应的入模指标及相匹配的模型算法构建初始的原 始场景机器学习模型； S2、 利用预设的模型测试集对初始的原始场景机器学习模型进行效果验证， 得到原始 场景机器学习模型； S3、 利用原始场景机器学习模型对模型测试集进行模型推理预测， 并输出该模型在测 试集上的预测概 率值； S4、 设置模型解释 样本的圈选阈值， 筛 选模型解释 样本； S5、 以回归树模型作为模型解释算法， 并基于入模指标及预测概率值构建模型解释回 归树模型； S6、 基于模型解释回归树模型对圈选测试集样本进行模型预测， 输出该部分圈选测试 集样本的模型解释回归树模型的拟合 概率值； S7、 引入平均绝对误差MAE作 为模型效果评估策略， 并对模型解释回归树模型进行效果 测评； S8、 输出最优版本的解释回归树模型的学习规则， 并利用学习规则反向解释原始场景 机器学习模型的机器学习逻辑。 2.根据权利要求1所述的一种助力企业精细化运营的模型可解释性分析新方法， 其特 征在于， 所述原始场景机器学习模型采用原始的建模数据集构建得到， 且原始的建模数据 集包括模型建模集及模型测试集； 其中， 所述模型建模集用于构建初始的原 始场景机器学习模型； 所述模型测试集用于初始的原始场景机器学习模型的效果评估及模型解释树回归算 法的损失函数的构建。 3.根据权利要求1所述的一种助力企业精细化运营的模型可解释性分析新方法， 其特 征在于， 所述利用预设的模型测试集对初始的原始场景机器学习模型进 行效果验证时的模 型效果评估方法包括以下步骤： 构建模型预测混淆矩阵， 并通过计算混淆矩阵的精准率、 查全率以及F1_Score对模型 性能进行定量评估。 4.根据权利要求3所述的一种助力企业精细化运营的模型可解释性分析新方法， 其特 征在于， 所述混淆矩阵的精准 率的计算公式为： 式中， TP表示实际为正样本且预测也为正样本的用户数， FP表示实际为负样本而预测 为正样本的用户数。 5.根据权利要求4所述的一种助力企业精细化运营的模型可解释性分析新方法， 其特 征在于， 所述 查全率的计算公式为： 式中， FN表示实际为负 样本而预测也 为负样本的用户数。权　利　要　求　书 1/2 页 2 CN 115293827 A 26.根据权利要求5所述的一种助力企业精细化运营的模型可解释性分析新方法， 其特 征在于， 所述F1_Score的计算公式为： 式中， Precisi on表示混淆矩阵的精准 率， Recal l表示混淆矩阵的查全率。 7.根据权利要求1所述的一种助力企业精细化运营的模型可解释性分析新方法， 其特 征在于， 所述以回归树模型作为模型解释算法， 并基于入模指标及预测 概率值构建模型解 释回归树模型包括以下步骤： S51、 选取原 始场景机器学习模型的入 模指标作为模型解释回归树模型的入 模指标； S52、 选取原始场景机器学习模型在测试集上的预测概率值作为模型解释回归树模型 的目标变量； S53、 以回归树模型作为模型解释算法， 并结合入模指标及预测概率值构建模型解释回 归树模型； 其中， 所述回归树模型的结构由根节点、 内部节点、 各分支结构及叶节点组成， 且每个 所述叶节点中包 含若干具有相同特 征的样本用户。 8.根据权利要求7所述的一种助力企业精细化运营的模型可解释性分析新方法， 其特 征在于， 所述回归树模型的构建包括以下步骤： 根据数据集上的所有特征， 遍历每个特征下所有可能的取值或者切分点， 并将数据集 划分成两个部分； 分别计算两个部分的平方误差和， 选择最小的平方误差对应的特征及分割点生成两个 子节点； 对于所述两个子节点 递归调用上述两个步骤， 直到满足停止条件。 9.根据权利要求1所述的一种助力企业精细化运营的模型可解释性分析新方法， 其特 征在于， 所述引入平均绝对误差MAE作为模型效果评估策略， 并对模 型解释回归树模型进 行 效果测评包括以下步骤； S71、 计算原始场景机器学习模型在测试集上的预测概率值与模型解释回归树模型的 拟合概率值之间的误差量 化值； S72、 判断平均 绝对误差MAE是否为最小值， 若是， 则该模型解释回归树模型为最佳解释 模型； 若否， 则调整回归树入 模超参并重新执 行步骤S5 ‑步骤S7。 10.根据权利要求9所述的一种助力企业精细化运营的模型可解释性分析新方法， 其特 征在于， 所述平均绝对误差 MAE的计算公式为： 式中， 表示圈选 的待解释样本总数， 表示原始场景机器学习模型在测试集样本 上的推理概 率值， 表示模型解释回归树模型在测试集样本上的推理概 率值。权　利　要　求　书 2/2 页 3 CN 115293827 A 3