(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111245679.7 (22)申请日 2021.10.26 (71)申请人 江苏苏宁银行股份有限公司 地址 210000 江苏省南京市 建邺区河西金 融城4号楼 (72)发明人 阮鹤樵　侯亦杨　郑清正　 (74)专利代理 机构 南京瑞华腾知识产权代理事 务所(普通 合伙) 32368 代理人 邱欢欢 (51)Int.Cl. G06F 11/30(2006.01) G06N 20/00(2019.01) G06Q 10/06(2012.01) (54)发明名称 一种机器学习模型的监控方法及设备 (57)摘要 本发明公开了一种机器学习模型的监控方 法及设备。 该方法获取包含某 一特征在某一时间 段回流数据中的缺失值比例和单一值比例； 根据 上线后模型数据和训练阶段模型数据计算特征 随时间的变动； 采用样本稳定性指标评估模型整 体分数分布的变动， 并根据评估的结果计算模型 分数随时间变动的测度作为综合分数稳定性指 标； 当缺失值比例 、 单一值比例、 特征随时间的变 动和综合分数稳定性指标中的任一超过其对应 的阈值时， 发出相应的告警信号。 本发明通过对 模型在运行期间的特征质量、 特征变动和分数变 动分别进行检测， 在发现模型运行质量异常时， 可第一时间发出相应告警信号， 大大降低了模型 上线后的人工维护成本， 并极大的提升了自动 化， 标准化水平。 权利要求书2页 说明书5页 附图1页 CN 114036018 A 2022.02.11 CN 114036018 A 1.一种机器学习模型的监控方法， 其特 征在于， 包括： 获取包含某一特 征在某一时间段回流数据中的缺失值比例和单一 值比例； 将上线后模型数据和训练阶段模型数据进行量化的对比， 并计算所述特征随时间的变 动； 采用样本稳定性指标PSI评估模型整体分数分布 的变动， 并根据评估的结果计算模型 分数随时间变动的测度作为综合分数 稳定性指标Compound ‑PSI； 当所述缺失值比例、 单一值比例、 所述特征随时间的变动和综合分数稳定性指标 Compound ‑PSI中的任一超过其对应的阈值时， 发出相应的告警信号。 2.根据权利要求1所述的机器学习模型的监控方法， 其特征在于， 采用中位数漂移比例 计算所述特 征随时间的变动， 具体如下： 其中， medianShiftRatio为中位数漂移比例， Xreturn为回流数据， Xtrain为训练数据， median( )为取中值 函数， X为特 征。 3.根据权利要求2所述的机器学习模型的监控方法， 其特征在于， 所述综合分数稳定性 指标的计算方式如下： 将上线后数据按照时间顺序等分为k份， 分别为D1， D2...， Dk， 其中1， ...， k按照时间顺 序逐渐递增； 按照相邻时间段的数据， 逐步计算PS I， 具体的， 首先计算D2中模型分数相比D1中模型分 数的PSI， 记为P SI1， 并依此类 推， 计算Dk中模型分数相比Dk‑1中模型分数的P SI， 记为P SIk‑1； 将综合分数 稳定性指标Compound ‑PSI记作median(P SI1， PSI2， ....， PSIk‑1)。 4.根据权利要求2所述的机器学习模型的监控方法， 其特征在于， 所述中位数漂移比例 对应的阈值 为5。 5.根据权利要求1所述的机器学习模型的监控方法， 其特征在于， 所述缺失值比例和单 一值比例分别对应的阈值为90％， 所述综合分数稳定性指标Compound ‑PSI对应的阈值为 0.15； 还包括： 在综合分数稳定性指标Compound ‑PSI大于0.05且小于0.15时， 输出持续观察 模型分数的建议信息 。 6.一种机器学习模型的监控设备， 其特 征在于， 包括： 特征质量检测模块， 用以获取包含某一特征在某一 时间段回流数据中的缺失值比例和 单一值比例； 特征变动检测模块， 用以将上线后模型数据和训练阶段模型数据进行量化的对比， 并 计算所述特 征随时间的变动； 分数变动检测模块， 用以采用样本稳定性指标PSI评估模型整体分数分布的变动， 并根 据评估的结果计算模型分数随时间变动的测度作为综合分数 稳定性指标Compound ‑PSI； 告警模块， 用以当所述缺失值比例、 单一值比例、 所述特征随时间的变动和综合分数稳 定性指标Compound ‑PSI中的任一超过其对应的阈值时， 发出相应的告警信号。 7.根据权利要求6所述的机器学习模型的监控设备， 其特征在于， 所述特征变动检测模 块采用中位数漂移比例计算所述特 征随时间的变动， 具体如下：权　利　要　求　书 1/2 页 2 CN 114036018 A 2其中， medianShiftRatio为中位数漂移比例， Xreturn为回流数据， Xtrain为训练数据， median( )为取中值 函数， X为特 征。 8.根据权利要求7所述的机器学习模型的监控设备， 其特征在于， 所述综合分数稳定性 指标的计算方式如下： 将上线后数据按照时间顺序等分为k份， 分别为D1， D2...， Dk， 其中1， ...， k按照时间顺 序逐渐递增； 按照相邻时间段的数据， 逐步计算PS I， 具体的， 首先计算D2中模型分数相比D1中模型分 数的PSI， 记为P SI1， 并依此类 推， 计算Dk中模型分数相比Dk‑1中模型分数的P SI， 记为P SIk‑1； 将综合分数 稳定性指标Compound ‑PSI记作median(P SI1， PSI2， ....， PSIk‑1)。 9.根据权利要求7所述的机器学习模型的监控设备， 其特征在于， 所述中位数漂移比例 对应的阈值 为5。 10.根据权利要求6所述的机器学习模型的监控设备， 其特征在于， 所述缺失值比例和 单一值比例分别对应的阈值为90％， 所述综合分数稳定性指标Compound ‑PSI对应的阈值为 0.15； 还包括： 在综合分数稳定性指标Compound ‑PSI大于0.05且小于0.15时， 所述告警模块 输出持续观察模型分数的建议信息 。权　利　要　求　书 2/2 页 3 CN 114036018 A 3