(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210815918.6 (22)申请日 2022.07.12 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 项水英　赵思婷　宋紫薇　郭星星　 张雅慧　郝跃　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 专利代理师 勾慧敏 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/067(2006.01) (54)发明名称 混合集成型光子脉冲神经网络装置及数字 图像分类方法 (57)摘要 本发明公开了混合集成型光子脉冲神经网 络装置， 包括： 光编码模块包括N个突触前神经 元； 光响应输 出模块包括N个突触后神经元； 神经 元均为VCSEL ‑SA， N≥1； 光突触模块包括顺次级 联的第一MZI子网络、 MZI阵列以及第二MZI子网 络， 形成一个具有N输入、 N输出的MZI网络； 第一 MZI子网络和第二MZI子网络均包括N(N ‑1)/2个 呈Reck架构排布的MZI， MZI阵列包括N个并行排 布的MZI； 光突触模块中各MZI的相位参数， 是通 过对一N×N的权重矩阵进行奇异值分解、 以及基 于分解得到的酉矩 阵构建包含三角函数的方程 组并求解方程组得到的。 权利要求书3页 说明书15页 附图8页 CN 115393602 A 2022.11.25 CN 115393602 A 1.一种混合集成型光子脉冲神经网络装置， 其特征在于， 包括： 光编码模块； 光突触模 块以及光响应输出模块； 其中， 所述光编码模块， 包括N个突触前神经元； 所述光响应输出模块， 包括N个突触后神经 元； 所述突触前神经 元和所述 突触后神经 元均为VCSEL ‑SA， N≥1； 所述光突触模块， 包括顺次级联的第一MZI子网络、 MZI阵列以及第二MZI子网络， 形成 一个具有N输入、 N输出的MZI网络； 其中， 所述第一MZI子网络和所述第二MZI子网络均包括N (N‑1)/2个呈Reck架构排布的MZI， 所述MZI阵列包括N个并行排布的MZI； 所述N输入和所述N 个突触前神经 元一一对应光连接， 所述 N输出和所述 N个突触后神经 元一一对应光连接； 所述光突触模块中各MZI的相位参数， 是通过对一N ×N的权重矩阵进行奇异值分解、 以 及基于分解得到的酉矩阵构建包含三角函数的方程组并求解方程组得到的； 所述权重矩阵 是实现所述光编码模块以及所述光响应输出模块两者之 间权重传递、 使 所述两者基于该权 重矩阵能够实现光子脉冲神经网络的任务功能的矩阵。 2.根据权利要求1所述的混合集成型光子脉冲神经网络装置， 其特征在于， 所述任务功 能包括： 对数字图像进行分类； 所述装置在工作时， 所述光编码模块对所述数字图像进行编码， 得到N个编码脉冲序 列； 所述N个编码脉冲序列经过所述MZI网络后被赋予突触权重， 形成N个加权脉冲序列； 所 述光响应输出模块对所述N个加权脉冲序列进行非线性响应， 并输出所述数字图像的分类 结果。 3.根据权利要求2所述的混合集成型光子脉冲神经网络装置， 其特征在于， 所述权重矩 阵是通过 预先进行训练得到的， 训练方式包括： 获取多个样本数字图像； 所述多个样本数字图像分属于不同的已知分类； 构建并初始化权 重矩阵； 将所述多个样本数字 图像分别输入至未启用的所述装置， 得到对应的训练数据； 所述 训练数据包括： 样本数字图像的分类结果、 所述光编码模块响应于样本数字图像输出 的编 码脉冲序列的脉冲时刻， 以及所述光响应输出模块响应于编码脉冲序列输出的加权脉冲序 列的脉冲时刻； 根据各样本数字图像的已知分类及对应的训练数据， 利用ReSuMe监督学习算法不断调 整所述权重矩阵， 直至所述装置针对各样本数字图像输出的分类结果与样本数字图像的已 知分类一 致， 得到训练完成的权 重矩阵； 其中， 在未启用的所述装置中， 各MZI的相位 参数随所述权 重矩阵变化。 4.根据权利 要求3所述的混合集成型光子脉冲神经网络装置， 其特征在于， 所述ReSuMe 监督学习算法为 一种改进型ReSuMe监 督学习算法； 所述改进型ReSuMe监 督学习算法为： ωxy(l+1)＝ωxy(l)+ωf×Δωxy，权　利　要　求　书 1/3 页 2 CN 115393602 A 2其中， ωxy(l+1)表示在第l个训练周期中， 所述权重矩阵中位于(x,y)处的调整后权重， ωxy(l)表示在第l个训练周期中， 所述权重矩阵中位于(x,y)处的调整前权重； ωf为预设的 学习率， Δωxy表示连接第x∈[1,N]个突触前神经元和第y∈[1,N]个突触后神经元的突触 权重的更新 量； ΔωSTDP(Δt)表示利用垂直腔半导体光放大器VCSOA产生的光学STDP曲线在Δt处的取 值， Δt表示时间差； 为所述编码脉冲序列中的第p个编码脉冲的脉冲时刻， 为所述光 响应输出模块响应于该第p个编码脉冲， 在对应的时间窗口 内所输出的加权脉冲的脉 冲时刻， tmax表示的含义为： 当所述光响应输出模块未在 内输出加权脉冲时， 在时间区 间 内输出最高功率的加权脉冲的脉冲时刻， P表示编码脉冲序列中的编码脉冲总 数； nd＝1表示期望在 内产生加权脉冲， nd＝0表示不期望在 内产生加权脉冲， nd的取 值根据样本数字图像的已知分类确定； no＝1表示实际在 内产生了加权脉冲， no＝0表示 实际在 内未产生加权脉冲。 5.根据权利要求1所述的混合集成型光子脉冲神经网络装置， 其特征在于， 当N＝4时， 所述装置的用途包括： 被时分复用以实现比所述光子脉冲神经网络的规模更大、 且具有任 意输入维度和输出维度的大规模光子脉冲神经网络 。 6.根据权利要求5所述的装置， 其特征在于， 时分复用所述装置实现所述大规模光子脉 冲神经网络的方式， 包括： 对所述大规模光子脉冲神经网络的输入数据进行划分， 以使分块数据匹配所述光编码 模块包括的N个突触前神经 元； 对所述大规模光子脉冲神经网络的权重矩阵进行划分， 以使划分得到的每个子矩阵均 匹配N输入、 N输出的所述MZI网络； 根据所述大规模光子脉冲神经网络的输入数据与权重矩阵之间的已知运算关系， 确定 分块数据和子矩阵的对应关系， 得到多组待处理数据； 每组待处理数据均包括一子矩阵以 及对应的分块数据； 针对每组待处理数据， 以其中包含的分块数据作为所述装置的输入， 并以其中包含的 子矩阵作为所述装置的权重矩阵， 使用所述装置对该组待处理数据进行处理， 得到处理结 果； 根据得到的各组所述处 理结果， 得到所述大规模光子脉冲神经网络的输出 结果。 7.根据权利要求5或6所述的装置， 其特 征在于， 所述输入数据包括： 数字图像。权　利　要　求　书 2/3 页 3 CN 115393602 A 3