(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211325253.7 (22)申请日 2022.10.27 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 申请人 浙江大学 (72)发明人 朱国权　马德　凡军海　杨方超　 陆启明　金孝飞　孙世春　胡有能　 潘纲　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉　杨小凡 (51)Int.Cl. G06T 1/40(2006.01) G06T 1/60(2006.01)G06N 3/04(2006.01) G06N 3/063(2006.01) (54)发明名称 一种粗粒度的图像神经网络加速器指令集 架构方法及装置 (57)摘要 本发明公开了一种粗粒度的图像神经网络 加速器指令集架构方法及装置， 该方法通过分析 神经网络中卷积层计算需要的参数； 通过分析神 经网络中装 载/存储操作、 池化层计算、 上采样层 计算、 加、 减、 转置和复制运算需要的参数； 根据 处理下一帧图像需要， 加入跳转需要的参数， 构 建一种粗粒度的神经网络加速器指令集架构。 与 细粒度指令集相比精度不受影 响， 减少了实现神 经网络推理的代码量， 代码更加紧凑； 该装置的 各个模块相对独立， 计算模块通过简单总线 连接 到存储模块， 可以有效缩短神经网络加速器的设 计过程； 该装置的配套编译器开发难度降低， 减 短了最终产品的上市时间， 降低了产品的开发成 本。 权利要求书2页 说明书9页 附图4页 CN 115393174 A 2022.11.25 CN 115393174 A 1.一种粗粒度的图像神经网络加速器指令集架构方法， 其特 征在于包括如下步骤： 步骤S1： 分析图像神经网络加速器中所需参数， 参数包括卷积计算所需参数、 装载/存 储所需参数、 池化操作所需参数、 上采样所需参数、 计算所需参数和图像跳转所需参数； 步骤S2： 基于所需参数， 构建粗粒度的图像神经网络加速器指令集， 基于卷积计算所需 参数构建粗粒度卷积指令， 基于装载/存储所需参数构建粗粒度装载指令/存储指令， 基于 池化操作所需参数构建粗粒度池化指令， 基于上采样所需参数构建粗粒度上采样指令， 基 于计算所需参数构建粗粒度计算指令， 基于图像跳转所需参数构建粗粒度图像跳转指令； 步骤S3， 基于粗粒度的图像神经网络加速器指令集， 执行图像神经网络加速器； 读取粗 粒度指令， 根据指 令类型， 得到卷积、 装载/存储、 池化、 上采样、 计算、 图像跳转操作的信号， 基于各操作信号对图像进行指令的执行， 并得到反馈， 然后读取下一条粗粒度指令进行执 行， 直至指令读取 结束。 2.根据权利要求1所述的一种粗粒度的图像神经网络加速器指令集架构方法， 其特征 在于： 所述步骤S2中， 粗粒度卷积指 令， 包含输入 特征图存放地址索引、 卷积控制 信号、 卷积 模式选择信号、 输入特征图尺寸和卷积核尺寸、 输出特征图存放地址索引、 权重地址； 将输 出特征图存放地址索引并入卷积模式选择信号的字段中， 将权重地址并入 卷积控制信号的 字段中。 3.根据权利要求1所述的一种粗粒度的图像神经网络加速器指令集架构方法， 其特征 在于： 所述步骤S2中， 粗粒度装载指 令， 包含装载片 外地址、 装载参数类型、 装载目的地址索 引、 装载通道长度， 装载通道长度包括单次装载参数量和装载通道数。 4.根据权利要求1所述的一种粗粒度的图像神经网络加速器指令集架构方法， 其特征 在于： 所述步骤S2中， 粗粒度存储指 令， 对输出特征图进 行操作， 包含存储源地址索引、 存储 片外地址、 存 储通道长度， 存 储通道长度包括单次存 储参数量和存 储通道数。 5.根据权利要求1所述的一种粗粒度的图像神经网络加速器指令集架构方法， 其特征 在于： 所述步骤S2中， 粗粒度池化指 令， 包含池化源地址索引、 池化控制 信号、 池化目的地址 索引、 池化矩阵尺寸、 池化通道、 池化步长、 池化模式、 池化补零方式和池化补零方向， 池化 矩阵尺寸包括源矩阵尺寸和池化核尺 寸； 将池化步长、 池化模式、 池化补零方式和池化补零 方向并入 池化控制信号的字段中， 将池化 通道并入 池化目的地址索引的字段中。 6.根据权利要求1所述的一种粗粒度的图像神经网络加速器指令集架构方法， 其特征 在于： 所述步骤S2中， 粗粒度上采样指 令， 包含上采样源地址索引、 上采样控制 信号、 上采样 目的地址索引、 上采样矩阵尺寸、 上采样目的矩阵尺寸、 上采样通道数、 上采样模式、 上采样 角点对齐方式； 上采样矩阵尺寸为上采样源矩阵尺寸， 将上采样目的矩阵尺寸和上采样通 道数并入上采样目的地址索引的字段中， 上采样控制 信号的字段中包含上采样模式和上采 样角点对齐方式。 7.根据权利要求1所述的一种粗粒度的图像神经网络加速器指令集架构方法， 其特征 在于： 所述步骤S2 中， 粗粒度计算指令， 包括加、 加立即数、 减、 减立即数、 转置和复制指令， 加指令包含第一加源地址索引、 第二加源地址索引、 加目的地址索引和加矩阵尺寸， 加立即 数包含加立即数源地址索引、 加立即数、 加立即数目的地址索引和加立即数矩阵尺寸， 减指 令包含第一减源地址索引、 第二减源地址索引、 减目的地址索引和减矩阵尺寸， 减立即数包 含减立即数源地址索引、 减立即数、 减立即数目的地址索引和减立即数矩阵尺 寸， 转置指 令权　利　要　求　书 1/2 页 2 CN 115393174 A 2包含转置源地址索引、 转置目的地址索引和转置矩阵尺寸， 复制指 令包含复制源地址索引、 复制量化使能、 复制目的地址索引和复制矩阵尺寸。 8.根据权利要求1所述的一种粗粒度的图像神经网络加速器指令集架构方法， 其特征 在于： 所述 步骤S3包括如下步骤： 步骤S3.1： 基于粗粒度装载指令， 对不同类型的装载参数进行装载； 步骤S3.2： 基于粗粒度卷积指令， 对输入特 征图进行 卷积计算， 得到 输出特征图； 步骤S3.3： 基于粗粒度池化指令、 粗粒度上采样指令、 粗粒度计算指令， 对输出特征图 进行池化、 上采样、 计算操作； 步骤S3.4： 基于粗粒度存 储指令， 对步骤S3.3操作的结果进行存 储； 步骤S3.5： 基于粗粒度图像跳转指令， 进行图像跳转。 9.根据权利要求8所述的一种粗粒度的图像神经网络加速器指令集架构方法， 其特征 在于： 所述步骤S3.2中， 卷积计算时， 使用边卷积边装载权重的并行方式； 在当前卷积计算 时， 使用第一权重缓存中的参数， 在当前卷积 计算期间， 向第二权重缓存搬移下一次卷积 计 算使用的权重， 在当前卷积计算和权重搬移结束后， 启动下一次卷积计算， 以此类推， 直至 完成所有卷积计算。 10.一种粗粒度的图像神经网络加速器指令集架构装置， 用于实现权利要求1所述的一 种粗粒度的图像神经网络加速器指令集架构方法， 其特征在于， 包括： 指令存储器、 指令译 码模块、 总体控制器、 装载模块、 卷积模块、 池化模块、 上采样模块、 计算模块， 输入特征图/ 输出特征图/权重缓存模块和存 储模块； 所述指令存 储器， 用于存 储粗粒度的图像神经网络加速器指令集； 所述指令译码模块， 根据指令类型， 得到各粗粒度指令对应操作的信号； 所述装载模块， 基于装载操作信号， 对不同类型的装载参数执行装载， 执行完成后发出 中断信号； 所述卷积模块、 池化模块、 上采样模块、 计算模块， 基于对应的操作信号进行指令的执 行， 执行完成后发出中断信号； 所述存储模块， 基于存 储操作信号， 对输出 特征图进行存 储； 所述总体控制器， 通过指令译码模块从指令存储器读取一条粗粒度指令； 当获取中断 信号后， 读取 下一条粗粒度指令； 所述输入特征图/输出特征图/权重缓存模块， 分别与装载模块、 卷积模块、 池化模块、 上采样模块、 计算模块、 存 储模块连接， 配合完成各指令的执 行。权　利　要　求　书 2/2 页 3 CN 115393174 A 3