(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111288811.2 (22)申请日 2021.11.02 (71)申请人 北京明略软件系统有限公司 地址 100089 北京市海淀区中关村东路1号 院1号楼10层A10 02 (72)发明人 刘新波　徐凯波　李霞　孙泽懿　 (74)专利代理 机构 青岛清泰联信知识产权代理 有限公司 3725 6 代理人 魏炜 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06N 20/00(2019.01) G06N 3/12(2006.01) (54)发明名称 一种模型参数优化选择方法、 系统、 计算机 设备和存 储介质 (57)摘要 本申请公开了一种模 型参数优化选择方法、 系统、 设备及存储介质， 方法包括以下步骤： 个体 初始化步骤及种群初始化步骤； 优化值计算步 骤： 针对种群中的各个个体， 将个体的参数传入 内层机器学习模 型进行计算， 得到参数的最小化 泛化偏差和最小化泛化方差； 种群进化步骤： 基 于种群中各个个体的参数的最小化泛化偏差和 最小化泛化方差， 采用选择、 交叉、 变异操作生成 父代后， 继续迭代执行优化值计算步骤， 直到执 行到预设迭代代数后停止， 获得优化的参数的组 合， 实现模型参数的优化选择。 本发明实现了一 种针对机器学习模型超参数的智能选择及如何 在考虑模型方差和偏差后选择最优参数的多目 标优化方法。 权利要求书2页 说明书9页 附图3页 CN 113962386 A 2022.01.21 CN 113962386 A 1.一种模型参数优化选择 方法， 其特 征在于， 包括以下步骤： 个体初始化步骤： 将模型对应的所有参数进行分类， 并对分类后的所述参数进行自然 数编码， 基于所述自然数编码初始化生成包含多个所述自然数编码的集合， 所述自然数编 码集合为一个个体； 种群初始化步骤： 基于初始化生成的多个所述个体及预设种群规模进行种群初始化， 所述种群包 含多个所述个 体； 优化值计算步骤： 针对所述种群中的各个个体， 将所述个体的参数传入内层机器学习 模型进行计算， 得到所述 参数的最小化泛化偏差和最小化泛化方差； 种群进化步骤： 基于所述种群中各个个体的参数的最小化泛化偏差和最小化泛化方 差， 采用选择、 交叉、 变异操作生成父代后， 继续迭代执行优化值计算步骤， 直到执行到预设 迭代代数后停止， 获得优化的所述 参数的组合， 实现模型参数的优化选择。 2.根据权利要求1所述模型参数优化选择 方法， 其特 征在于， 所述 最小化泛化偏差为： obj1＝(ED[f(x； D)] ‑y)2 其中： x—代表输入的所述 参数； y—代表x在数据集y的真实标记； f(x； D)—代 表训练集D上 学得模型f在x上的预测输出； ED—代表训练集D上的期望值。 3.根据权利要求1所述模型参数优化选择 方法， 其特 征在于， 所述 最小化泛化方差为： obj2＝ED[(f(x； D) ‑ED[f(x； D)])2] 其中： ED—代表训练集D上的期望值。 4.根据权利要求1所述模型参数优化选择 方法， 其特 征在于， 所述种群进化 步骤包括： 选择步骤： 基于所述各个个体参数的最小化泛化偏差和最小化泛化方差， 对所述种群 进行非劣分层排序， 计算各个所述个体拥挤度， 选择适应度更优的个体进入下一代个体， 并 从所述下一代个 体中两两选择父体配对； 交叉步骤： 采用顺序交叉法， 将所述配对的父体顺序完成交叉， 生成交叉 父体； 变异步骤： 采用逆转变异法， 将所述交叉父体的任意两个自然数编码位置间的顺序倒 置， 完成变异， 生成子代； 调整步骤： 对所述子代的每 个个体基于预设规则及取值范围进行 可行性调整； 合并步骤： 将完成可行性调整的所述子代与所述父代合并为大种群， 迭代执行所述优 化值计算步骤。 5.一种模型参数优化选择系统， 采用 如权利要求1 ‑4中任意一项所述模型参数优化选 择方法， 其特 征在于， 包括以下模块： 个体初始化模块： 将模型对应的所有参数进行分类， 并对分类后的所述参数进行自然 数编码， 基于所述自然数编码初始化生成包含多个所述自然数编码的集合， 所述自然数编 码集合为一个个体； 种群初始化模块： 基于初始化生成的多个所述个体及预设种群规模进行种群初始化， 所述种群包 含多个所述个 体； 优化值计算模块： 针对所述种群中的各个个体， 将所述个体的参数传入内层机器学习权　利　要　求　书 1/2 页 2 CN 113962386 A 2模型进行计算， 得到所述 参数的最小化泛化偏差和最小化泛化方差； 种群进化模块： 基于所述种群中各个个体的参数的最小化泛化偏差和最小化泛化方 差， 采用选择、 交叉、 变异操作生成父代后， 继续执行优化值计算， 直到执行到预设迭代代数 后停止， 获得优化的所述 参数的组合， 实现模型参数的优化选择。 6.根据权利要求5所述模型参数优化选择系统， 其特 征在于， 所述 最小化泛化偏差为： obj1＝(ED[f(x； D)] ‑y)2 其中： x—代表输入的参数； y—代表x在数据集y的真实标记； f(x； D)—代 表训练集D上 学得模型f在x上的预测输出； ED—代表训练集D上的期望值。 7.根据权利要求5所述模型参数优化选择系统， 其特 征在于， 所述 最小化泛化方差为： obj2＝ED[(f(x； D) ‑ED[f(x； D)])2] 其中： ED—代表训练集D上的期望值。 8.根据权利要求5所述模型参数优化选择系统， 其特 征在于， 所述种群进化模块包括： 选择模块： 基于所述各个个体参数的最小化泛化偏差和最小化泛化方差， 对所述种群 进行非劣分层排序， 计算各个所述个体拥挤度， 选择适应度更优的个体进入下一代个体， 并 从所述下一代个 体中两两选择父体配对； 交叉模块： 采用顺序交叉法， 将所述配对的父体顺序完成交叉， 生成交叉 父体； 变异模块： 采用逆转变异法， 将所述交叉父体的任意两个自然数编码位置间的顺序倒 置， 完成变异， 生成子代； 调整模块： 对所述子代的每 个个体基于预设规则及取值范围进行 可行性调整； 合并模块： 将完成可行性调整的所述子代与所述父代合并为大种群， 继续执行优化值 计算。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器上并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 4中任一项所述的模型参数优化选择 方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1至4中任一项所述模型参数优化选择 方法。权　利　要　求　书 2/2 页 3 CN 113962386 A 3