(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211420171.0 (22)申请日 2022.11.15 (71)申请人 北京智芯微电子科技有限公司 地址 100192 北京市海淀区西小口路6 6号 中关村东升科技园A区3号楼 (72)发明人 李德建　刘亮　种挺　任增民　 马俊　张茜歌　 (74)专利代理 机构 北京智信四方知识产权代理 有限公司 1 1519 专利代理师 刘真 (51)Int.Cl. G06N 3/063(2006.01) G06N 3/04(2006.01) (54)发明名称 电力设备处理加速方法、 装置、 设备、 芯片及 介质 (57)摘要 本公开涉及计算机处理技术领域， 具体涉及 一种电力设备处理加速方法、 装置、 设备、 芯片及 介质， 所述电力设备处理加速方法包括： 根据所 述智能芯片中神经网络的硬件结构、 神经网络中 神经元的关键性和所述神经网络处理的数据的 数据类型特性， 确定所述神经网络中各层的脆弱 因子； 根据所述神经网络中各层的权重， 确定所 述神经网络中各层的第一调节因子； 根据所述神 经网络中各层的脆弱因子和第一调节因子， 确定 所述神经网络中各层的量化位数； 根据确定的所 述量化位数对 所述神经网络进行量化， 以使包括 具有所述神经网络的智能芯片的电力设备在实 现处理加速的同时提高可靠性。 权利要求书7页 说明书22页 附图7页 CN 115470899 A 2022.12.13 CN 115470899 A 1.一种电力设备处理加速方法， 所述电力设备包括具有神经网络的智能芯片， 其特征 在于， 所述方法包括： 根据所述智能芯片中神经网络的硬件结构、 神经网络 中神经元的关键性和所述神经网 络处理的数据的数据类型 特性， 确定所述神经网络中各层的脆弱因子； 根据所述神经网络中各层的权 重， 确定所述神经网络中各层的第一调节因子； 根据所述神经网络 中各层的脆弱因子和第 一调节因子， 确定所述神经网络 中各层的量 化位数； 根据确定的所述量化位数对所述神经网络进行量化， 以使包括具有所述神经网络的智 能芯片的电力设备实现处 理加速。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述智能芯片中神经网络的硬件 结构、 神经网络中神经元 的关键性和所述神经网络处理的数据的数据类型特性， 确定所述 神经网络中各层的脆弱因子， 包括： 根据所述智能芯片中神经网络硬件结构特性确定各神经 元的结构脆弱因子； 根据神经网络中神经 元的关键性确定神经 元关键性因子； 根据所述神经网络处 理的数据的数据类型确定数据类型 特性； 根据所述结构脆弱因子、 神经元关键性因子和数据类型特性确定所述神经网络 中各层 的脆弱因子 。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述智能芯片中神经网络硬件结 构特性确定各神经 元的结构脆弱因子， 包括： 根据公式AVFi=当前神经元所在层中所有乘法器和加法器的数量/当前神经元所在层能 够支持的最大乘法器和加法器的数量确定第i个神经元的结构脆弱因子， 其中i为正整数且 小于等于当前层神经 元总数。 4.根据权利要求3所述的方法， 其特征在于， 所述根据神经网络中神经元的关键性确定 神经元关键性因子， 包括： 根据公式 əE/əy确定所述神经元关键性因子， 其中， E为所述神经网络当前预测结果 与真实结果之间的差值， y为当前神经 元的输出， ə为求偏导。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述神经网络处理 的数据的数据 类型确定数据类型 特性， 包括： 根据公式M= （0的位数/总位数） *β确定所述数据类型特性， 其中， M为所述数据类型特 性， β 为数据类型因子 。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述结构脆弱因子、 神经元关键 性因子和数据类型 特性确定所述神经网络中各层的脆弱因子， 包括： 根据公式NVFi=AVFi* （əE/əy） *M确定第i个神经 元的脆弱因子； 根据公式 计算所述神经网络中各层的脆弱因子， 其中NVFlayer 为神经网络中当前层的脆弱因子， NVFi为当前层中第i个神经元的脆弱因子， n为当前层神 经元总数。 7.根据权利要求1所述的方法， 其特征在于， 所述根据所述神经网络中各层的权重， 确权　利　要　求　书 1/7 页 2 CN 115470899 A 2定所述神经网络中各层的第一调节因子， 包括： 将所述神经网络中每一层的权重分别排序， 得到当前层的权重边缘值， 所述权重边缘 值为权重的最大和/或最小值； 以所述权重边缘值与第一比例系数的乘积作为调节 因子， 基于所述调节 因子确定所述 神经网络处 理的数据的第一 量化值； 以所述权重边缘值与第 二比例系数的乘积作为调节 因子， 基于所述调节 因子确定所述 数据的第二 量化值； 以此类推， 直至以所述权重边缘值与第N比例系数的乘积作为调节 因子， 基于所述调节 因子确定所述数据的第N 量化值， 其中， N 为正整数； 分别计算第一至第N量化值与数据真实值的L2范数， 确定得到最小L2范数的量化值对 应的调节因子为所述神经网络中当前层的第一调节因子， 进而确定所述神经网络中各层的 第一调节因子， 其中， L2范 数为向量中各 元素的平方和然后求平方根。 8.根据权利要求7 所述的方法， 其特 征在于， 还 包括： 根据所述神经网络中各层的激活值， 确定所述神经网络中各层的第二调节因子； 根据所述脆弱因子、 第一调节因子和第二调节因子， 确定所述神经网络中各层的量化 位数。 9.根据权利要求8所述的方法， 其特征在于， 所述根据所述神经网络中各层的激活值， 确定所述神经网络中各层的第二调节因子， 包括： 运行所述神经网络得到神经网络中各层的激活值； 将所述神经网络中各层的激活值 排序， 得到 激活边缘值； 以所述激活边缘值与第 一比例系数的乘积作为调节 因子， 基于所述调节 因子确定所述 神经网络处 理的数据的第一 量化值； 以所述激活边缘值与第 二比例系数的乘积作为调节 因子， 基于所述调节 因子确定所述 数据的第二 量化值； 以此类推， 直至以所述权重边缘值与第N比例系数的乘积作为调节 因子， 基于所述调节 因子确定所述数据的第N 量化值， 其中， N 为正整数； 分别计算第一至第N量化值与数据真实值的L2范数， 确定得到最小L2范数的量化值对 应的调节因子为所述神经网络中各层的第二调节因子， 其中， L2范数为向量中各元素 的平 方和然后求平方根。 10.根据权利要求7或9所述的方法， 其特征在于， 基于调节因子确定所述数据的量化 值， 包括： 根据公式xr’=clamp （‑s， s， xr） 对数据真实值进行限定， 其中， clamp （ ） 为区间限定函数， s为调节因子， xr为数据真实值， xr’为限定后的数据真实值； 根据公式xq=round （ （2k‑1‑1） * （xr’/s） ） 对所述限定后的数据真实值进行四舍五入计算， 其中， round （ ） 为四舍五入函数， k 为初始量 化位数， xq为四舍五入后的数据值； 根据公式out= （xq/ （2k‑1‑1） ） *s确定所述数据的量 化值， 其中， out为所述数据的量 化值。 11.根据权利要求1所述的方法， 其特征在于， 所述根据所述神经网络中各层的脆弱因 子和第一调节因子， 确定所述神经网络中各层的量 化位数， 包括： 基于初始量 化位数k、 所述第一调节因子和验证集得到神经网络的数据量 化精度；权　利　要　求　书 2/7 页 3 CN 115470899 A 3