(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211148073.6 (22)申请日 2022.09.21 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 张北北　高丰　穆晓妍　胡润雨　 白文媛　孙铭鸽　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉　杨小凡 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06N 20/00(2019.01) (54)发明名称 面向图像分类的深度学习的算子定位融合 方法及装置 (57)摘要 本发明公开了面向图像分类的深度学习的 算子定位融合方法及装置， 将深度学习模型建模 为一个有向无环图， 有向无环图的节 点表深度学 习模型的算子， 节点之间的边代表深度学习模型 算子间的数据传输和算子的计算先后关系； 使用 算子类型作为节点类型对有向无环 图中的节点 赋值； 定义算子之间的连接关系， 并使用连接关 系对有向无环图中的边赋值； 获得一系 列由算子 类型按一定顺序排列组成的算子融合规则， 采用 深度优先搜索算法对有向无环 图中的节点进行 遍历， 并根据节点类型、 算子融合规则、 算子连接 关系识别有向无环图中需要聚合的节 点； 将被聚 合的节点所对应的算子集合， 获得粗化的深度学 习计算图， 并通过该计算图进行图像分类 。 权利要求书2页 说明书9页 附图6页 CN 115240048 A 2022.10.25 CN 115240048 A 1.一种面向图像分类的深度学习的算子 定位融合方法， 其特 征在于， 包括如下步骤： 步骤S1， 将图像分类的深度学习模型建模为有向无环图， 有向无环图包括计算节点， 以 及各计算节点之间表示数据传输和先后关系的有向边， 获取计算节点及有向边的类型； 步骤S2， 获取图像分类的深度学习模型的计算节点融合规则， 计算节点融合规则包括 有向边类型、 节点类型， 节点类型用于确定能够进行计算节点融合的节点类型及其排列的 次序； 步骤S3， 构建输入计算节点作为有向无环图的根节点， 遍历有向无环图中各计算节点， 根据计算节点和/或绑定的计算节点及其子计算节点和/或绑定的计算节点的节点类型、 对 应的有向边类型， 判断计算节点是否符合计算节点融合规则， 若符合， 则进行计算节点融 合， 否则不进行计算节点融合； 其中对部分符合节点类型的计算节点进行绑定； 步骤S4， 解绑不符合计算节点融合 规则的计算节点； 步骤S5， 将图像输入融合后的基于图像分类的深度学习模型， 得到图像分类结果。 2.根据权利要求1所述的面向图像分类的深度 学习的算子定位融合方法， 其特征在于： 所述步骤S1中的有向边类型包括 一对一型有向边、 多输出 型有向边和多输入型有向边。 3.根据权利要求2所述的面向图像分类的深度 学习的算子定位融合方法， 其特征在于： 所述步骤S3中是否符合计算节点融合 规则的判断， 包括如下步骤： 步骤S3.1， 判断当前计算节点及其子节点的节点类型是否完全符合计算节点融合规 则， 若符合， 则进行计算节点融合， 否则， 进入步骤S3.2； 步骤S3.2， 判断计算节点和/或绑定的计算节点及其子计算节点和/或绑定的计算节点 的节点类型， 是否部 分符合计算节点融合规则， 若符合， 再判断有向边类型是否符合计算节 点融合规则， 其中一对一型有向边和多输入型有向边符合计算节点融合规则， 多输出型有 向边不符合计算节点融合规则， 若均符合， 则进行计算节点绑定， 否则， 不进行计算节点绑 定； 步骤S3.3， 访问下一计算节点， 并重复步骤S3.1、 步骤S3.2， 直至遍历完所有计算节点。 4.根据权利要求2所述的面向图像分类的深度 学习的算子定位融合方法， 其特征在于： 所述一对一型有向边的起点计算节点仅有一条输出边， 终点计算节点仅有一条输入边； 多 输出型有向边是其起点计算节点的多 条输出边； 多输入型有向边是其终点计算节点的多个 输入边。 5.根据权利要求1所述的面向图像分类的深度 学习的算子定位融合方法， 其特征在于： 所述步骤S2中计算节点融合规则， 还包括节点标识和节点融合后的节点类型， 节点标识唯 一标识了一条计算节 点融合规则； 计算节点融合后的节点类型用于确定计算节点进行融合 后生成的融合计算节点的类型。 6.一种面向图像分类的深度学习的算子定位融合装置， 包括有向无环图构建模块、 计 算节点融合规则获取模块、 计算节点绑定融合模块、 计算节 点解绑模块和图像分类模块， 其 特征在于： 所述有向无环图构建模块， 用于将图像分类的深度学习模型建模为有向无环图， 有向 无环图包括计算节点， 以及各计算节点之间表示数据传输和先后关系的有向边， 获取计算 节点及有向边的类型； 所述计算节点融合规则获取模块， 用于获取图像分类的深度学习 模型的计算节点融合权　利　要　求　书 1/2 页 2 CN 115240048 A 2规则， 计算节点融合规则包括有向边类型和节点类型， 节点类型用于确定能够进行计算节 点融合的节点类型及其 排列的次序； 所述计算节点绑定融合模块， 通过构建输入计算节点作为有向无环图的根节点， 遍历 有向无环图中各计算节点， 根据计算节点和/或绑定的计算节点及其子计算节 点和/或绑定 的计算节点的节点类型、 对应的有向边类型， 判断计算节点是否符合计算节点融合规则， 若 符合， 则进 行计算节点融合， 否则不进 行计算节 点融合； 其中对部 分符合节点类型的计算节 点进行绑定； 所述计算节点 解绑模块， 用于解绑不符合计算节点融合 规则的计算节点； 所述图像分类模块， 将图像输入融合后的基于 图像分类的深度学习模型， 得到 图像分 类结果。 7.根据权利要求6所述的面向图像分类的深度 学习的算子定位融合装置， 其特征在于： 所述有向无环图构建模块， 将有向边类型构建为一对一型有向边、 多输出型有向边和多输 入型有向边。 8.根据权利要求7所述的面向图像分类的深度 学习的算子定位融合装置， 其特征在于： 所述计算节点绑定融合模块包括完全符合判断模块、 绑定判断模块和遍历完成判断模块； 所述完全符合判断模块， 判断当前计算节点及其子节点的节点类型是否完全符合计算 节点融合 规则， 若符合， 则进行计算节点融合， 否则， 进入步骤S3.2； 所述绑定判断模块， 判断计算节点和/或绑定的计算节点及其子计算节点和/或绑定的 计算节点的节点类型， 是否部分符合计算节点融合规则， 若符合， 再判断有向边类型是否符 合计算节点融合规则， 其中一对一型有向边和多输入型有向边符合计算节点融合规则， 多 输出型有向边不符合计算节点融合规则， 若均符合， 则进行计算节点绑定， 否则， 不进行计 算节点绑定； 所述遍历完成判断模块， 访问下一计算节点， 并重复进行完全符合判断和绑定判断， 直 至遍历完所有计算节点。 9.根据权利要求7所述的面向图像分类的深度 学习的算子定位融合装置， 其特征在于： 所述一对一型有向边的起点计算节点仅有一条输出边， 终点计算节点仅有一条输入边； 多 输出型有向边是其起点计算节点的多 条输出边； 多输入型有向边是其终点计算节点的多个 输入边。 10.根据权利要求6所述的面向图像分类的深度学习的算子定位融合装置， 其特征在 于： 所述计算节点融合规则获取模块中， 计算节点融合规则还包括节点标识和节点融合后 的节点类型， 节点标识唯一标识了一条计算节点融合规则； 计算节点融合后的节点类型用 于确定计算节点进行融合后生成的融合计算节点的类型。权　利　要　求　书 2/2 页 3 CN 115240048 A 3