(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202110993267.5 (22)申请日 2021.08.27 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 张涛　曹亚慧　赵鑫　 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 111/04(2020.01) (54)发明名称 一种基于混洗蛙跳算法的卷积神经网络框 架自动设计方法 (57)摘要 一种基于混洗蛙跳算法自动设计卷积神经 网络框架方法： 将卷积神经网络框架设计问题建 模为一个有约束的组合优化问题， 设计满足目标 参数量要求的网络框架。 提出了一种离散变长编 码方法， 将卷积层的输出、 全连接层的层数和每 层神经元的个数等超参数进行编码来表示卷积 神经网络框架， 然后采用混洗蛙跳算法以MNIST 数据集上的分类精度为适应度评估值对最优网 络框架进行搜索， 得到最优的卷积神经网络框 架。 本发明提出的基于混洗蛙跳自动设计卷积神 经网络框架的方法具有全自动、 效率高等特点， 对于经验不足的科研初学者 也是非常友好的。 权利要求书2页 说明书4页 附图2页 CN 113971367 A 2022.01.25 CN 113971367 A 1.一种基于混洗蛙跳算法的卷积神经网络框架自动设计方法， 其特征在于， 包括如下 步骤： 1)将卷积神经网络框架自动设计方法建模为一个有约束的组合优化问题， 约束为模型 的参数量； 2)设计一种离散变长编码方式用来表示卷积神经网络框架， 得到卷积神经网络框架的 数学表示； 3)采用混洗蛙跳算法对卷积神经网络框架进行设计， 以在MNIST数据集上的图像分类 精度为适应度评估值， 以不断提高分类精度为优化目标， 通过混洗蛙跳算法不断迭代优化， 得到性能最优的卷积神经网络 框架； 4)将最优的卷积神经网络 框架再次充分训练。 2.根据权利要求1所述的一种基于混洗蛙跳算法的卷积神经网络框架自动设计方法， 其特征在于， 步骤1)包括： (1)将卷积神经网络框架自动设计方法建模为一个在模型参数量约束下的组合优化问 题。 3.根据权利要求1所述的一种基于混洗蛙跳算法的卷积神经网络框架自动设计方法， 其特征在于， 步骤2)包括： (1)定义一个block， 里面包括m层 卷积层和一层最大池化层， 池化层连接在卷积层后面 构成一个bl ock； (2)将block进行叠加， 即将多个bl ock堆叠连接， bl ock的个数为 nb； (3)定义全连接层的层数为nf， 每个全连接层中神经元的个数为η， 将nf个全连接层连 接起来； (4)最后将堆叠的bl ock和全连接层再次连接起 来， 构成一个卷积神经网络 框架。 4.根据权利要求1所述的一种基于混洗蛙跳算法的卷积神经网络框架自动设计方法， 其特征在于， 步骤3)包括： (1)设定混洗蛙跳算法的初始参数， 包括： 青蛙种群的数量N， 青蛙分组组数， 算法最大 迭代次数， 并定义迭代次数iter＝0， 还有编码方式中block的参数范围， 每个block中卷积 层的输出 范围， 全连接层的层数 范围， 每层的神经 元个数范围以及模型的参数量约束范围； (2)青蛙种群初始参数进行种群初始化， 按照离散变长编码方式进行编码， 生成一个青 蛙个体后， 先判断该个体对应的卷积神经网络的模 型参数量是否满足约束 范围， 如果满足， 则该个体有效， 否则重新生成新个体， 直至生成N个满足模型参数量约束范围的个体， 构成 青蛙种群； (3)对生成的种群进行适应度评估； (a)将经典的MNIST数据 集分为训练集和测试集， 设定训练集的图片为α 张， 测试集的图 片为β 张， 为了减少训练 时间， 在进行适应度评估时， 只随机选择全部数据集的θ ％来进 行训 练和测试， 即α ×θ ％张训练图片和β ×θ ％张测试图片； (b)设定种群个体n＝0， 将此个体按照编码方式反向解码， 得到对应的卷积神经网络框 架； (c)利用训练图片训练解码得到的卷积神经网络框架， 然后在测试图片上测试， 得到测 试精度作为 适应度评估值；权　利　要　求　书 1/2 页 2 CN 113971367 A 2(d)种群个体n加一。 若种群个体个数小于种群的全部个体数量， 则转到步骤(b)， 否则， 输出种群全部个 体的适应度值； (4)按照种群的适应度值对整个青蛙种群进行降序排序， 按照模因分组法对种群进行 分组， 确定每组中的组内最优个 体、 组内最差个 体和整个种群中的全局最优个 体； (5)更新个体， 先利用每组中的组内最优个体的信 息更新组内最差个体， 若更新后的组 内最差个体的适应度值优于之前的组内最差个体的适应度值， 则完成一个更新过程； 否则， 利用全局最优个体的信息更新组内最差个体， 若 更新后的组内最差个体的适应度值优于之 前的个体， 则完成一个更新过程； 若依然 无法更新成功， 则采用随机更新的方式更新该组内 的最差个 体； (6)迭代次数iter加一； (7)混洗全部个体。 若迭代次数小于算法最大迭代次数， 则转到步骤(4)， 否则， 输出全 局最优个 体， 得到最优的卷积神经网络 框架； (8)设定充分训练过程所需迭代次数为iiter， 采用MNIST数据 集中全部的数据图片， 即 α 张训练图片和β 张测试图片； 将最优卷积神经网络框架在训练数据上训练， 在测试数据上 测试， 得到最后的精度作为实际的应用精度。权　利　要　求　书 2/2 页 3 CN 113971367 A 3