(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210093892.9 (22)申请日 2022.01.26 (71)申请人 四川轻化工大 学 地址 644002 四川省宜宾市四川轻化工大 学宜宾校区 (72)发明人 熊兴中　董亚　骆忠强　 (74)专利代理 机构 西安铭泽知识产权代理事务 所(普通合伙) 61223 代理人 韩晓娟 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于随机计算和稀疏计算的图像识别 卷积层结构 (57)摘要 本发明公开了一种基于随机计算和稀疏计 算的图像识别卷积层结构， 涉及深度学习技术领 域， 通过稀 疏计算对输入的图像特征图和对应的 权值进行稀 疏化处理， 将稀 疏化处理结果中出非 零值传入到随机计算模块完成乘累加运算， 最 后， 利用稀 疏计算和随机计算搭建高效并行的卷 积层结构， 进行卷积， 输出卷积结果； 本发明提供 的一种基于随机计算和稀疏计算的图像识别卷 积层结构， 构建基于随机计算和稀 疏计算的低复 杂度卷积层架构， 保障卷积运算精度的同时， 降 低硬件实现的复杂 度， 使输入的图像特征图和权 重稀疏带来的加速优势被充分利用。 权利要求书1页 说明书5页 附图2页 CN 114429553 A 2022.05.03 CN 114429553 A 1.一种基于随机计算和稀疏计算的图像识别卷积层结构， 其特 征在于， 包括： 稀疏处理模块： 对输入的图像特征图和对应的权值进行与逻辑处理， 与逻辑结果为1 时， 输出该位置的输入的图像特 征图和对应的权值， 与逻辑结果 为0时， 输出 结果0； 随机计算模块： 接收稀疏处理模块输出的输入的图像特征图和对应的权值， 将输入的 图像特征图和对应的权值从二进制域转换至概率域， 在概率域中， 执行输入的图像特征图 和对应的权值的乘法计算， 并将若干个乘法计算结果相加； 卷积模块： 包括若干个并行的卷积核， 并行的多个所述卷积核通过稀疏处理模块和随 机计算模块完成卷积计算， 输出图像识别的卷积结果。 2.如权利要求1所述的一种基于随机计算和稀疏计算的图像识别卷积层结构， 其特征 在于， 所述随机计算模块， 包括： 前向转换模块： 接收稀疏处理模块输出的输入的图像特征图和对应的权值， 将输入的 图像特征图和对应的权值从二进制域转换至概率域， 其中， 输入的图像特征图的转换公式 为： 其中， P(xi)是xi的概率表达式， xi表示输入的图像特征图的值， m是xi的位宽， bmi是xi的 最高有效位； 对应的权值的转换函数为： 其中， wi表示权值， 表示进行四舍五入运 算； 计算模块： 在概率域中， 通过与门逻辑运算执行输入的图像特征图和对应的权值的乘 法计算， 并采用近似并行计数器将若干个乘法计算结果相加。 3.如权利要求2所述的一种基于随机计算和稀疏计算的图像识别卷积层结构， 其特征 在于， 所述前向转换模块， 还 包括： 将输入的图像特征图的值xi展开成一个只含 “0”和“1”的序列Si， 复制第j位的xi数量为 2j‑1， 生成序列Si＝{bmi,…,bmi,…,bji,…bji,…,b1i}， 其中， bji的数量为2j‑1,j∈[1,m]， 得 到由“0”和“1”组成的序列Si中“1”的概率。 4.如权利要求1所述的一种基于随机计算和稀疏计算的图像识别卷积层结构， 其特征 在于， 所述卷积模块将输入的图像特 征图数据和权值存 入缓存区， 并进行 卷积计算。 5.如权利要求4所述的一种基于随机计算和稀疏计算的图像识别卷积层结构， 其特征 在于， 所述卷积模块采用乒乓 技术， 同时进行 下一组权值读入和上一组卷积计算。权　利　要　求　书 1/1 页 2 CN 114429553 A 2一种基于随机计算和稀 疏计算的图像识别卷积层结构 技术领域 [0001]本发明涉及深度学习技术领域， 特别涉及 一种基于随机计算和稀疏计算的图像识 别卷积层结构。 背景技术 [0002]卷积神经网络(CNN)作为深度学习中最重要的模型之一， 广 泛应用于图像识别、 语 音识别、 计算机视觉等领域。 一般来说， 神经网络层数越多， 所需要的参数增多， 在进 行前向 推理时得到的准确 率就越高。 然而， 网络层数和参数量的增长也意味着消 耗的计算资源和 存储资源就越多。 从观察卷积神经网络的众多参数中， 发现部分参数， 如零值， 对最终的输 出结果影响不大， 可以在进行运 算时剪枝掉以减少存 储空间。 [0003]由于卷积神经网络需要大量的存储空间存储数据， 尤其是在进行计算时， 其庞大 的计算量阻碍了它发展的步伐， 因此， 如何减少卷积神经网络计算量是深度学习中较为受 欢迎的研究思路。 卷积神经网络中的计算量主要集中在卷积层中， 该层中的卷积运算占整 个计算量的十分之九， 而卷积运算与参数容量呈正比关系， 可以通过剪枝方法减去冗余参 数。 但直接进行剪枝后， 网络中运算的不规则性增加了神经网络硬件实现的复杂度， 这使得 输入的图像特征图和权重稀疏带来的加速优势不能充分利用。 另一方面， 在卷积运算过程 中， 还涉及到大量计算资源消耗以及数据存储， 因此， 实现卷积神经网络所需的硬件消耗十 分巨大。 如何对卷积神经网络中的运算进行有效的硬件设计， 并将其应用到计算资源和内 存带宽受限的嵌入式设备中是一个值得讨论的问题。 [0004]基于上述问题， 本申请提供了一种基于随机计算和稀疏计算的图像识别卷积层结 构， 构建基于随机计算和稀疏计算的低复杂度卷积层架构， 保障卷积运算精度的同时， 降低 硬件实现的复杂度， 使输入的图像特 征图和权 重稀疏带来的加速优势被充分利用。 发明内容 [0005]本发明的目的在于提供一种基于随机计算和稀疏计算的图像识别卷积层结构， 构 建基于随机计算和稀疏计算的低复杂度卷积层架构， 保障卷积运算精度的同时， 降低硬件 实现的复杂度， 使输入的图像特 征图和权 重稀疏带来的加速优势被充分利用。 [0006]本发明提供了一种基于随机计算和稀疏计算的图像识别卷积层结构， 包括： [0007]稀疏处理模块： 对输入的图像特征图和对应的权值进行与逻辑处理， 与逻辑结果 为1时， 输出 该位置的输入的图像特 征图和对应的权值， 与逻辑结果 为0时， 输出 结果0； [0008]随机计算模块： 接收稀疏处理模块输出的输入的图像特征 图和对应的权值， 将输 入的图像特征图和对应的权值从二进制域转换至概率域， 在概率域中， 执行输入的图像特 征图和对应的权值的乘法计算， 并将若干个乘法计算结果相加； [0009]卷积模块： 包括若干个并行的卷积核， 并行的多个所述卷积核通过稀疏处理模块 和随机计算模块完成卷积计算， 输出 卷积结果。 [0010]进一步地， 所述随机计算模块， 包括：说　明　书 1/5 页 3 CN 114429553 A 3