(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111677862.4 (22)申请日 2021.12.31 (71)申请人 龙芯中科技 术股份有限公司 地址 100095 北京市海淀区地锦路7号院4 号楼1层101 (72)发明人 杨灿　王重熙　王宗磊　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 代理人 庞静 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 模型处理方法、 装置、 电子设备及可读介质 (57)摘要 本发明提供了一种模型处理方法、 装置、 电 子设备及可读介质， 该方法中， 基于目标神经网 络中用于实现原始神经网络中计算密集层及至 少一个非计算密集层所需执行的计算操作的融 合层， 根据融合层对应的计算密集层的输入和/ 或计算密集层的计算输出， 计算融合层对应的非 计算密集层的本层计算的目标输出。 基于目标输 出进行后续处理， 融合层对应的计算密集层包括 位于融合层对应的非计算密集层之前的计算密 集层和/或之后的计算密集层。 这样， 一定程度上 可以避免在单独按层执行非计算密集型层的过 程中反复从内存中存取数据的问题， 从而可以减 少访存量， 降低处 理过程的耗时， 提高处 理性能。 权利要求书3页 说明书22页 附图3页 CN 114418065 A 2022.04.29 CN 114418065 A 1.一种模型处理方法， 其特征在于， 应用于目标神经网络， 所述目标神经网络包括融合 层， 所述融合层用于实现原始神经网络中计算密集层及至少一个非计算密集层所需执行的 计算操作， 所述方法包括： 对于所述目标神经网络中的至少一个融合层， 由所述至少一个融合层， 根据所述至少 一个融合层对应的计算密集层的输入和/或所述计算密集层的计算输出， 计算所述至少一 个融合层对应的非计算密集层的本层计算的目标输出； 基于所述目标输出进行后 续处理； 所述融合层对应的计算密集层包括位于所述融合层 对应的非计算密集层之前的计算密集层和/或之后的计算密集层。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述至少一个融合层对应的计算 密集层的输入和/或所述计算密集层的计算输出， 计算所述至少一个融合层对应的非计算 密集层的本层计算的目标输出， 包括： 在执行第一融合层对应的第 一计算密集层的本层计算得出第 一数据后， 执行第 一后处 理操作， 所述第一后处理操作包括基于所述第一数据计算所述非计算密集层的第一中间数 据； 所述第一中间数据为计算所述目标输出 所需的中间数据； 将所述第一中间数据以及所述第一数据存 储至内存； 由第二融合层执行第 一前处理操作， 所述第 一前处理操作包括基于从所述内存中读入 的所述第一中间数据以及所述第一数据， 计算所述目标输出； 所述基于所述目标输出进行后续处理， 包括： 根据所述目标输出执行所述第二融合层 对应的第二计算密集层的本层计算。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述至少一个融合层对应的计算 密集层的输入和/或所述计算密集层的计算输出， 计算所述至少一个对应的非计算密集层 的本层计算的目标输出， 包括： 在执行第三融合层对应的第 三计算密集层的本层计算得出第 二数据后， 执行第 二后处 理操作， 所述第二后处理操作包括基于所述第二数据计算所述 目标输出； 所述基于所述 目 标输出进 行后续处理， 包括： 将所述目标输出写入内存， 以供所述目标神经网络中的后续层 使用； 或者， 由第四融合层从内存中读入本层输入， 并执行第 二前处理操作， 所述第 二前处理 操作包括基于所述本层输入计算所述目标输出； 所述本层输入为所述非计算密集层 对应的 原始输入； 所述基于所述目标输出进 行后续处理， 包括： 根据所述目标输出执行所述第四融 合层对应的第四计算密集层的本层计算。 4.根据权利要求2所述的方法， 其特征在于， 所述第一计算密集层为卷积层， 所述非计 算密集层为BN层； 在本次处理过程为前向处理过程的情况下， 所述基于所述第一数据计算 所述非计算密集层的第一中间数据， 包括： 基于所述卷积层计算获取的同一通道的输出特征图， 计算第一参数以及第二参数， 以 作为所述第一中间数据； 所述输出 特征图为所述第一数据； 所述基于从所述内存中读入的所述第 一中间数据以及所述第 一数据， 计算所述目标输 出， 包括： 基于所述第一参数、 所述输出特征图 以及所述第二参数， 进 行乘加操作， 以获取所 述目标输出。 5.根据权利要求4所述的方法， 其特征在于， 所述非计算密集层还包括RELU层； 所述根权　利　要　求　书 1/3 页 2 CN 114418065 A 2据所述目标输出执行所述第二融合层对应的第二计算密集层的本层计算， 包括： 对所述 目 标输出执行RELU操作， 基于所述RELU操作的结果执 行所述第二计算密集层的本层计算。 6.根据权利要求2所述的方法， 其特征在于， 所述第一计算密集层为卷积层， 所述非计 算密集层为BN层； 在本次处理过程为反向传播过程的情况下， 所述基于所述第一数据计算 所述非计算密集层的第一中间数据， 包括： 基于所述卷积层计算获取的误差值， 计算第三参数以及第 四参数， 以作为所述第一中 间数据； 所述基于从所述内存中读入的所述第 一中间数据以及所述第 一数据， 计算所述目标输 出， 包括： 基于所述第三参数、 所述第四参数以及所述误差值， 进 行乘加操作， 以得到所述目 标输出。 7.根据权利要求2 ‑6任一所述的方法， 其特征在于， 所述融合层对应的加速器 中包括前 处理单元和/或后处理单元； 前 处理操作基于所述前处理单元执行， 后处理操作基于所述后 处理单元执行。 8.根据权利要求7 所述的方法， 其特 征在于， 所述方法还 包括： 基于接收到的预设指令， 确定所述本次处理过程、 所述前处理操作以及所述后处理操 作； 所述预设指 令至少包括前向反向过程指示域、 前处理类别域以及后处理类别域； 所述前 向反向过程指示域用于表征本次处理过程， 所述前 处理类别域以及所述后处理类别域分别 用于指示融合层中所需执 行的前处 理操作以及后处 理操作。 9.一种模型处理方法， 其特征在于， 应用于目标神经网络， 所述目标神经网络包括融合 层， 所述融合层用于实现原始神经网络中计算密集层及至少一个非计算密集层所需执行的 计算操作， 所述方法包括： 响应于接收到的预设指令， 根据所述预设指令确定所述目标神经网络中的至少一个融 合层对应所需执 行的前处 理操作和/或后处 理操作； 由所述至少一个融合层， 根据所述至少一个融合层对应的计算密集层的输入和/或所 述计算密集层的计算输出， 执行所述前 处理操作和/或后处理操作， 以计算所述至少一个融 合层对应的非计算密集层的本层计算的目标输出； 基于所述目标输出进行后 续处理； 所述融合层对应的计算密集层包括位于所述融合层 对应的非计算密集层之前的计算密集层和/或之后的计算密集层。 10.根据权利要求9所述的方法， 其特征在于， 所述方法还包括： 根据所述预设指令， 确 定本次处理过程； 所述本次处 理过程包括前向处 理过程以及反向传播过程； 所述根据 所述至少一个融合层对应的计算密集层的输入和/或所述计算密集层的计算 输出， 执行所述前处 理操作和/或后处 理操作， 包括： 根据所述本次处理过程、 所述至少一个融合层对应的计算密集层的输入和/或所述计 算密集层的计算输出， 执 行所述前处 理操作和/或后处 理操作。 11.根据权利要求9或10所述的方法， 其特征在于， 所述根据所述预设指令确定所述目 标神经网络中的至少一个融合层对应所需执 行的前处 理操作和/或后处 理操作， 包括： 根据所述预设指令 中的前处理类别域以及后处理类别域， 确定所述融合层对应所需执 行的前处理操作和/或后处理操作； 其中， 所述前 处理类别域以及所述后处理类别域分别用 于指示所述融合层对应所需执 行的前处 理操作以及后处 理操作。权　利　要　求　书 2/3 页 3 CN 114418065 A 3