(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211289610.9 (22)申请日 2022.10.20 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 赖剑煌　唐建雄　谢晓华　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 高棋 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 用于图像分类的脉冲神经网络的训练方法 (57)摘要 本发明针对现有技术的局限性， 提出了一种 用于图像分类的脉冲神经网络的训练方法， 提供 了一种快速、 节省内存的脉冲神经网络训练方 法， 设计并运用了一种人工神经网络 ‑脉冲神经 网络的权重共享框架， 将脉冲神经网络的训练迁 移到一个人工神经网络上进行， 在相同的网络结 构以及时间窗口设置下， 本发明的训练速度以及 显存消耗是脉冲反向传播模型的43％～67％, 33％～55％。 权利要求书2页 说明书9页 附图5页 CN 115546556 A 2022.12.30 CN 115546556 A 1.一种用于图像分类的脉冲神经网络的训练方法， 其特 征在于， 包括以下步骤： S1， 获取输入图像， 对所述输入图像进行包括图像规范化在内的数据预处 理； S2， 获取待训练的脉冲神经网络以及相应的任务需求， 根据 所述任务需求， 对所述脉冲 神经网络进行网络初始化； S3， 根据所述步骤S2的结果， 构建一个权重参数共享的人工神经网络 ‑脉冲神经网络双 分支网络结构； S4， 以所述步骤S1的结果， 对所述人工神经网络 ‑脉冲神经网络双分支网络结构中的人 工神经网络 分支进行训练； 训练完成后， 基于权重共享， 以其中的脉冲神经网络 分支作为可 用于图像分类的脉冲神经网络训练结果。 2.根据权利要求1所述的用于图像分类的脉冲神经网络的训练方法， 其特征在于， 所述 步骤S1的数据预处 理包括以下 过程： 对所述输入图像各通道的内容进行图像规范化； 根据预设的时间窗口大小T， 将所述输 入图像复制成T张， 构造出长度为T的图像序列。 3.根据权利要求1所述的用于图像分类的脉冲神经网络的训练方法， 其特征在于， 所述 步骤S2的网络初始化包括以下 过程： 根据任务需求， 设定所述脉冲神经网络的网络层数、 各层网络的结构、 特征通道大小、 卷积核大小、 各层权 重的初始值以及IF神经 元的初始阈值电压 。 4.根据权利要求3所述的用于图像分类的脉冲神经网络的训练方法， 其特征在于， 所述 IF神经元按以下公式表示： 充电过程： ut+1,n＝ut,n(1‑ot,n)+It+1,n； 放电过程： 其中， n表示第n层 脉冲神经网络， 膜电压ut,n表示脉冲神经元的内部状态， 膜电压ut,n通 过累积‑放电机制， 将每 一个时刻的输入刺激累积到膜电压中； It+1,n为时刻t+1的输入刺激， It+1,n根据网络 权重作用于 输入脉冲得到； ot,n表示时刻t的脉冲信号， Vth表示电压阈值。 5.根据权利要求4所述的用于图像分类的脉冲神经网络的训练方法， 其特征在于， 在所 述步骤S4中， 通过以下 方式对所述 IF神经元的电压阈值进行自适应增长： 其中， k表示一轮训练代数中的第k次训练迭代， α ∈[0,1]表示动量系数； ε∈[0,1]表示 容忍度； τ >0表示尺度因子， Ω表示噪声脉冲的索引集 合。 6.根据权利要求1所述的用于图像分类的脉冲神经网络的训练方法， 其特征在于， 在所 述人工神经网络 ‑脉冲神经网络双分支网络结构 中： 以整流脉冲单元或直通脉冲单元作为 ANN分支的激活函数， 将脉冲神经网络分支的每层脉冲输出作为ANN分支每层的激活值， 使 得ANN分支能够等 价表示脉冲神经网络分支。 7.根据权利要求6所述的用于图像分类的脉冲神经网络的训练方法， 其特征在于， 所述 整流脉冲单 元的工作流 程按以下公式表示：权　利　要　求　书 1/2 页 2 CN 115546556 A 2其中， 表示ANN分支的第n层激活输出， 表示ANN分支的第n层网络经过其中的卷积 以及线性整流单元后的输出； 符号函数sign( ·)表示将 量化为0和1， 用于得到线性整流 单元输出的激活位置； 表示哈达玛积； 表示来自脉冲神经网络分支第n层的累积 脉冲输出。 8.根据权利要求6所述的用于图像分类的脉冲神经网络的训练方法， 其特征在于， 所述 直通脉冲单 元的工作流 程按以下公式表示： 其中， 表示ANN分支的第n层激活输出， 表示ANN分支的第n层网络经过其中的卷积 以及线性整流单元后的输出； 表示来自脉冲神经网络分支第n层的累积脉冲输 出； c为与 等值的张量。 9.根据权利要求6所述的用于图像分类的脉冲神经网络的训练方法， 其特征在于， 在所 述步骤S4中， 对所述人工神经网络 ‑脉冲神经网络双分支网络结构 中的人工神经网络分支 进行训练， 包括以下 过程： 通过使用整流脉冲单元或直通脉冲单元对ANN分支进行建模， 使脉冲神经网络分支每 层网络的前向计算能够被A NN分支表 示； 随后利用交叉熵损失函数作用于A NN分支的FC层输 出， 实现对分类误差的描述； 最后利用反向传播 算法， 在AN N分支上进行训练。 10.一种计算机设备， 其特征在于： 包括存储介质、 处理器以及储存在所述存储介质中 并可被所述处理器执行 的计算机程序， 所述计算机程序被处理器执行时实现如权利要求1 至9任一项所述的用于图像分类的脉冲神经网络的训练方法的步骤。权　利　要　求　书 2/2 页 3 CN 115546556 A 3