(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210419035.3 (22)申请日 2022.04.20 (71)申请人 四川大学 地址 610042 四川省成 都市一环路南 一段 24号 (72)发明人 孙亚楠　梁子轩　 (74)专利代理 机构 成都正德明志知识产权代理 有限公司 513 60 专利代理师 鲍利蕊 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06F 16/36(2019.01) G06T 7/10(2017.01) (54)发明名称 神经网络自动 构建方法、 构建系统及 存储介 质 (57)摘要 本发明公开了一种神经网络自动构建方法、 构建系统及存储介质， 其中构建方法包括在网络 架构数据集中分别选取预设数量评估指标最优 的第一网络架构和最差的第二网络架构； 对第一 网络架构和第二网络架构中的细胞内部结构进 行拆解， 形成正样本和负样本； 对正样本和负样 本进行格式转换， 之后对待训练神经网络进行训 练； 采用已训练神经网络模型计算初始子图中结 点到目标结点池中目标结点的边的可能性分数， 将可能性分数最大的目标结点和边新增至初始 子图； 判断初始子图中已连接的结点数量是否等 于预设阈值， 若是， 进入下一步； 否则返回上一 步； 采用初始子图构成神经网络架构中的细胞内 部结构， 之后输出搭建完成的用于对识别对象进 行识别的神经网络架构。 权利要求书3页 说明书10页 附图6页 CN 114723015 A 2022.07.08 CN 114723015 A 1.一种神经网络自动构建方法， 其特 征在于， 包括： S1、 获取待构建神经网络的识别对象类型， 并根据类型选取已知的网络架构数据集； S2、 查询网络架构数据集中每个网络架构的评估指标， 并分别选取预设数量评估指标 最优的第一网络架构和最差的第二网络架构； S3、 对第一网络架构和第二网络架构中的细胞内部结构进行拆解， 采用拆解后形成的 边和对应的子图构建数量相等的正样本和负 样本； S4、 对正样本和 负样本进行格 式转换， 之后对待训练神经网络进行训练， 得到已训练的 神经网络模型； S5、 采用已训练神经网络模型计算初始子图中结点到目标结点池中目标结点的边的可 能性分数， 对可能性分数归一化得到每条边的选择概率， 再根据选择概率采样一条边， 将边 及其对应的目标 结点新增至初始子图； S6、 判断初始子图中已连接的结点数量是否等于预设阈值， 若是， 进入步骤S7； 否则， 返 回步骤S5； S7、 采用初始子 图构成神经网络架构中的细胞内部结构， 之后输出搭建完成的用于对 识别对象进行识别的神经网络架构。 2.根据权利要求1所述的神经网络自动构建方法， 其特 征在于， 步骤S3进一 步包括： 分别对第一网络架构的细胞内部结构的真实边和 虚拟边按预设顺序编号， 对第 二网络 架构的细胞内部结构的真实边按预设顺序编号； 在每个第一网络架构的细胞内部结构中， 以输入结点为基础， 按编号顺序依次加入与 真实边连接的结点， 采用每次加入真实边形成的子图及对应真实边构成一个正样本； 在每个第一网络架构的细胞内部结构中， 以输入结点为基础， 按编号顺序依次加入与 虚拟边连接的结点， 采用每次加入虚拟边形成的子图及对应虚拟边构成一个负 样本； 在每个第二网络架构的细胞内部结构中， 以输入结点为基础， 按编号顺序依次加入与 真实边连接的结点， 采用每次加入真实边形成的子图及对应真实边构成一个负 样本； 在所有负样本 中选取与所有正样本数量相同的负样本， 采用所有正样本和选取出的负 样本构成对神经网络进行训练的训练样本 。 3.根据权利要求1所述的神经网络自动构建方法， 其特征在于， 所述对正样本和负样本 进行格式转换进一 步包括： 对正样本和负 样本的子图各 结点的标签进行独热编码， 作为 其特征向量； 根据正样本和负样本中子图的连接信 息和特征向量， 将正样本和负样本的子图转换成 邻接矩阵和结点特 征向量矩阵。 4.根据权利要求1所述的神经网络自动构建方法， 其特征在于， 待训练神经网络包括提 取高维特 征信息的神经网络模型和用于根据高维特 征信息进行 结点间链接判断的预测器； 对待训练神经网络进行训练的方法进一 步包括： S41、 复制一份正样本和负样本， 并对复制样本的子图中所有边进行翻转， 形成子图的 反馈子图； S42、 将正样本和负样本输入一个神经网络模型， 将边进行翻转后的样本输入另一个神 经网络模型； S43、 计算所有子图和所有反馈子图中每个结点的隐藏表示， 将每个子图与其对应的反权　利　要　求　书 1/3 页 2 CN 114723015 A 2馈子图中相同结点的隐藏表示进行拼接； S44、 将相邻两个结点拼接后的隐藏表示送入预测器进行预测， 得到相邻两个结点之间 的可能性分数； S45、 将迭代次数累加一次， 并判断迭代次数是否大于预设次数， 若是， 则完成待训练神 经网络的训练， 否则返回S43 。 5.根据权利要求4所述的神经网络自动构建方法， 其特征在于， 所述隐藏表示的计算公 式为： 其中， 为子图中结点i第k+1次迭代时的隐藏表示； σ 为非线性激活函数； N(f)为有 出边直接连接到结点i的邻居结点集合； 为子图中结点i与结点j归一化后的注意力分 数； 为子图中结点j第k次迭代的隐藏表示； exp( ·)为指数函数； 为子图中结点i与结 点j第k次迭代时的注意力分数； 为子图中结点i与结点n第k次迭代时的注意力分数； n为 N(i)中的任一结点。 6.根据权利要求4所述的神经网络自动构建方法， 其特征在于， 所述可能性分数的计算 公式为： yu， v＝W2Relu(h1)+b2， h1＝W1[hu||hv]+b1 其中， yu， v为子图中相邻结点u和结点v间的可能性分数； Relu( ·)为激活函数； h1为中间 变量； hu和hv分别为结点u的隐藏表示和结点v的隐藏表示； W1， b1和W2， b2分别为预测器中两 个全连接层的权 重的偏置 。 7.根据权利要求4 ‑6任一所述的神经网络自动构建方法， 其特征在于， 所述待训练神经 网络的损失函数为交叉熵损失函数： 其中， y为真实标签， 为待训练神经网络的预测输出。 8.根据权利要求1 ‑6任一所述的神经网络自动构建方法， 其特征在于， 所述识别对象为 图像分类、 语义分割或图结构数据处 理； 当任务为图像分类时， 从Nas ‑Bench101搜索空间中采样网络结构组成网络架构数据 集； 当任务为语义分割时， 从AUTO ‑DeepLab搜索空间中采样网络结构组成新的网络架构数 据集； 当任务为图结构数据处理时， 从GraphNAS搜索空间中采样网络架构组成新的网络架构 数据集。 9.一种应用于权利要求1 ‑8任一所述的神经网络自动构建方法的构建系统， 其特征在 于， 包括： 选取模块， 用于获取待构建神经网络的识别对象类型， 并根据类型选取已知的网络架 构数据集； 选取架构选取模块， 用于查询网络架构数据集中每个网络架构的评估指标， 并分别选权　利　要　求　书 2/3 页 3 CN 114723015 A 3