(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210335807.5 (22)申请日 2022.03.31 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 申请人 建信金融科技有限责任公司 (72)发明人 朱翔　 (74)专利代理 机构 北京东方亿 思知识产权代理 有限责任公司 1 1258 专利代理师 赵秀芹 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 40/02(2012.01) (54)发明名称 评价信息确定方法、 装置、 设备及计算机存 储介质 (57)摘要 本申请公开了一种评价信息确定方法、 装 置、 设备及计算机存储介质， 能够通过用户历史 业务数据， 训练预设的神经网络， 得到第一风险 识别模型和该模 型的第一质量评价信息。 然后利 用待评价的目标模型生成业务特征信息， 通过该 业务特征信息和用户历史业务数据再次训练上 述神经网络， 这样通过引入新的特征信息(即业 务特征信息)再训练后， 可 以得到第二风险识别 模型和对应的第二质量评价信息。 继而根据两个 质量评价信息得到的比较结果， 可以反映出两次 训练得到的风险识别模型的训练程度是否有所 提高， 以此能够快速验证、 评价目标模型(即事项 识别模型)是否有效， 利于提升事项识别模型在 应用于风险事 项识别场景中的可靠性。 权利要求书3页 说明书13页 附图3页 CN 114693127 A 2022.07.01 CN 114693127 A 1.一种评价信息确定方法， 其特 征在于， 所述方法包括： 获取用户历史业 务数据； 通过用户历史业务数据， 训练预设的神经网络， 得到第一风险识别模型和所述第一风 险模型的第一质量评价信息； 利用待评价的目标模型， 生成业 务特征信息； 通过所述业务特征信息和所述用户历史业务数据， 训练所述神经网络， 得到第二风险 识别模型和所述第二 风险模型的第二质量评价信息； 根据所述第 一质量评价信 息和所述第 二质量评价信 息的比较结果， 确定所述目标模型 的目标评价信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述用户历史业务数据对应多个特征维 度， 所述第一质量评价信息包括第一 准确率和/或第一召回率； 所述通过用户历史业务数据， 训练预设的神经网络， 得到第一风险识别模型和所述第 一风险模型的第一质量评价信息， 包括： 将所述用户历史业 务数据输入所述神经网络； 按照所述多个特征维度， 训练所述神经网络， 得到所述第一风险模型和所述第一风险 模型的第一输出信息； 根据所述第一输出信息进行计算， 得到所述第一 准确率和/或第一召回率。 3.根据权利要求2所述的方法， 其特征在于， 所述目标模型为事项识别模型， 所述利用 待评价的目标模型， 生成业 务特征信息， 包括： 根据所述事项识别模型的至少一个事项特 征， 生成所述 业务特征信息， 其中， 所述业务特征信息对应的特征维度， 与所述用户历史业务数据的多个特征维度 不同。 4.根据权利要求3所述的方法， 其特征在于， 所述第二质量评价信息包括第二准确率 和/或第二召回率， 所述通过所述业务特征信息和所述用户历史业务数据， 训练所述神经网络， 得到第二 风险识别模型和所述第二 风险模型的第二质量评价信息， 包括： 将所述用户历史业 务数据输入所述神经网络； 按照所述业务特征信 息对应的特征维度， 以及所述用户历史业务数据对应的多个特征 维度， 训练所述神经网络， 得到所述第二风险识别模型和所述第二风险模型 的第二输出信 息； 根据所述第二输出信息进行计算， 得到所述第二 准确率和/或第二召回率。 5.根据权利要求1所述的方法， 其特征在于， 所述目标模型为事项识别模型， 在所述目 标模型的目标评价信息之后， 所述方法还 包括： 在所述目标评价信息满足预设条件的情况 下， 获取待识别的用户业 务数据； 通过所述事项识别模型， 对所述待识别的用户业务数据进行特征提取， 得到事项识别 信息。 6.一种评价信息确定装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于获取用户历史业 务数据； 第一训练模块， 用于通过用户历史业务数据， 训练预设的神经网络， 得到第 一风险识别权　利　要　求　书 1/3 页 2 CN 114693127 A 2模型和所述第一 风险模型的第一质量评价信息； 生成模块， 用于利用待评价的目标模型， 生成业 务特征信息； 第二训练模块， 用于通过所述业务特征信息和所述用户历史业务数据， 训练所述神经 网络， 得到第二 风险识别模型和所述第二 风险模型的第二质量评价信息； 确定模块， 用于根据所述第一质量评价信息和所述第二质量评价信息的比较结果， 确 定所述目标模型的目标评价信息 。 7.根据权利要求6所述的装置， 其特征在于， 所述用户历史业务数据对应多个特征维 度， 所述第一质量评价信息包括第一 准确率和/或第一召回率； 所述第一训练模块包括： 第一输入子模块， 用于将所述用户历史业 务数据输入所述神经网络； 第一训练子模块， 用于按照所述多个特征维度， 训练所述神经网络， 得到所述第 一风险 模型和所述第一 风险模型的第一输出信息； 第一计算子模块， 用于根据 所述第一输出信 息进行计算， 得到所述第 一准确率和/或第 一召回率。 8.根据权利要求7所述的装置， 其特征在于， 所述目标模型为事项识别模型， 所述生成 模块具体用于： 根据所述事项识别模型的至少一个事项特 征， 生成所述 业务特征信息， 其中， 所述业务特征信息对应的特征维度， 与所述用户历史业务数据的多个特征维度 不同。 9.根据权利要求8所述的装置， 其特征在于， 所述第二质量评价信息包括第二准确率 和/或第二召回率， 所述第二训练模块， 包括： 第二输入子模块， 用于将所述用户历史业 务数据输入所述神经网络； 第二训练子模块， 用于按照所述业务特征信息对应的特征维度， 以及所述用户历史业 务数据对应的多个特征维度， 训练所述神经网络， 得到所述第二风险识别模型和所述第二 风险模型的第二输出信息； 第二计算子模块， 用于根据 所述第二输出信 息进行计算， 得到所述第 二准确率和/或第 二召回率。 10.根据权利要求6所述的装置， 其特征在于， 所述目标模型为事项识别模型， 所述装置 还包括： 第二获取模块， 用于在所述目标评价信息满足预设条件的情况下， 获取待识别的用户 业务数据； 提取模块， 用于通过所述事项识别模型， 对所述待识别的用户业务数据进行特征提取， 得到事项识别 信息。 11.一种计算机设备， 其特征在于， 所述设备包括： 处理器以及存储有计算机程序指令 的存储器； 所述处理器执行所述计算机程序指令时实现如权利要求1 ‑5任意一项所述的评价信 息 确定方法。 12.一种计算机存储介质， 其特征在于， 所述计算机存储介质上存储有计算机程序指权　利　要　求　书 2/3 页 3 CN 114693127 A 3