(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111389114.6 (22)申请日 2021.11.22 (71)申请人 深圳深度赋智科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道科技园社区科苑路8号讯美科技广 场1号楼815 (72)发明人 吴斌豪　 (74)专利代理 机构 北京知果之信知识产权代理 有限公司 1 1541 代理人 高科 (51)Int.Cl. G06Q 10/04(2012.01) G06F 17/18(2006.01) (54)发明名称 一种通过置信区间上界选择优化器的超参 数优化方法 (57)摘要 本发明涉及自动化机器学习技术领域， 公开 了一种通过置信区间上界选择优化器的超参数 优化方法。 包括以下步骤： S1： 构建优化器池； S2： 选择优化器模块基于各个优化器的置信区间上 界选择“最好”的优化器去优化超参数； S3： 目标 模型观察点求值； S4： 信息共享， 在获得任务的观 察值后， 观 察信息会通过观察信息共享模块传递 给所有的优化器； S5： 优化器更新， 各个优化器会 使用获得的观测点信息进行各自的更新操作； S6： 优化器选择模块更新， 优化器选择模块会根 据这个观测点的信息以及优化器的预测效果对 被选择的优化器进行置信区间上界的更新。 优化 器选择模块以UCB算法为中心， 利用获得的观测 点信息选 择不同的优化器， 有效地解决了多优化 器的选择问题。 权利要求书2页 说明书6页 附图3页 CN 114139784 A 2022.03.04 CN 114139784 A 1.一种通过置信区间上界选择优化器的超参数优化方法， 其特征在于， 包括以下实施 步骤： S1： 构建优化器池， 构建可 供给优化器选择丰富的优化器池； S2： 选择优化器模块， 在优化器选择阶段， 优化器选择模块会基于各个优化器的置信区 间上界选择 “最好”的优化器去优化超参数； S3： 目标模型观察点求值， 在优化器基于目前获得信息推荐一组超参数配置后， 任务会 使用这组超参数通过目标模型求得观察值， 该观察值被记录下来以完成后续的模型更新工 作； S4： 信息共享， 在获得任务的观察值之后， 观察信 息会通过观察信息共享模块传递给所 有的优化器； S5： 优化器更新， 各个优化器会使用获得的观测点信息进行 各自的更新操作； S6： 优化器选择模块更新， 优化器选择模块会根据这个观测点的信息以及优化器的预 测效果对被选择的优化器进行置信区间上界的更新， 以保证在接下来的迭代 过程中选择适 配的优化器。 2.如权利要求1所述的一种通过置信区间上界选择优化器的超参数优化方法， 其特征 在于： 上述方法包括三个模块： 优化器池， 其包含多种可供选择的优化器； 优化器选择模块， 其用于根据置信区间上界选择合适的优化器； 以及观察信息共享模块， 其用于将获取 的观 察信息传递给各个优化器； 且优化器池、 优化器选择模块和观察信息共享模块构成超参数 优化系统。 3.如权利要求2所述的一种通过置信区间上界选择优化器的超参数优化方法， 其特征 在于： 优化器池包含贝叶斯优化器、 进化算法优化器、 网格搜索优化器和随机搜索优化器， 而且不同优化器内部的组件也是组合配置的， 贝叶斯优化器 以代理模型和采集模型相结 合， 代理模 型有gp、 rf和tpe， 采集模 型有pi和ei， 通过随机组合形成多种不同的贝叶斯优化 器； 且贝叶斯优化的执 行方式为： 步骤一： 初始化 一个高斯过程 「代理模型」 先验分布； 步骤二： 选择几个数据点x使得获取模型a(x)在当前 先验分布上的结果是最大的； 步骤三： 在目标成本模型c(x)中评估数据点x并获取其结果y； 步骤四： 使用新数据 更新高斯过程先验分布， 得到一个后验分布(这将作为下一步的先 验分布)； 步骤五： 重复第二至第五步并多次迭代； 步骤六： 解读当前的高斯过程分布(成本 很低)， 找到全局最小值。 4.如权利要求2所述的一种通过置信区间上界选择优化器的超参数优化方法， 其特征 在于： 选择优化器模块获得各优化器的观察信息后， 基于目标模型获得优化器的观察点的 多组观察 值， 并计算相应的平均观察 值， 以及获取 该优化器已被选择的次数。 5.如权利要求4所述的一种通过置信区间上界选择优化器的超参数优化方法， 其特征 在于： 优化器选择模块以UCB算法为核心， 根据目前获得的观察信息、 优化器的平均观察值 以及优化器已被选择次数， 计算出每 个优化器的置信区间上界。 6.如权利要求5所述的一种通过置信区间上界选择优化器的超参数优化方法， 其特征 在于： 优化器选择模块利用优化器置信区间上界计算 公式获得各优化器的置信区间上界值权　利　要　求　书 1/2 页 2 CN 114139784 A 2后， 优化器选择模块选择置信区间最大的优化器。 7.如权利要求6所述的一种通过置信区间上界选择优化器的超参数优化方法， 其特征 在于： 优化器置信区间上界计算公式如下： 其中： 优化器j在第t次迭代的置信区间上界； 优化器j在第t次迭代之前平均观测值； Tt， j： 优化器j在第t次迭代之前被选择的次数。 8.如权利要求1所述的一种通过置信区间上界选择优化器的超参数优化方法， 其特征 在于： 针对步骤S3中， 目标模型是一个待优化问题， 其包括机器学习模型在验证集上的指 标， 以及数 学应用方面的数 学解析模型。权　利　要　求　书 2/2 页 3 CN 114139784 A 3