(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210257014.6 (22)申请日 2022.03.16 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 张立勇　于凡轩　华璧康　赖晓晨　 卢伟　李卓函　王鲁康　栾兴　 (74)专利代理 机构 大连理工大 学专利中心 21200 专利代理师 温福雪 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 9/50(2006.01) (54)发明名称 一种面向图像分割的全卷积神经网络密度 峰剪枝方法 (57)摘要 本发明公开了一种面向图像分割的全卷积 神经网络密度峰剪枝方法， 属于图像处理领域。 根据前向传播时的卷积层访问顺序依次对网络 中每个卷积层进行剪枝： 首先将待剪枝卷积层中 所有卷积核参数组合为二维权值矩阵； 在聚类期 间， 将每个卷积核视作单个样本， 基于密度峰聚 类算法对卷积核样本展开聚类； 之后计算每个卷 积核的零激活率， 根据零激活率阈值对不同簇内 的卷积核进行剪枝， 即直接删除簇内零激活率大 于指定阈值的卷积核。 然后重新训练该卷积层中 未剔除卷积核的权值参数， 并利用。 待全卷积神 经网络所有层都已剪枝后， 完成对 该网络的轻量 化操作； 将图像数据输入轻量化操作后的网络， 每输入一张图片， 该网络都会输出一张分割后的 等比例大小图片。 权利要求书1页 说明书7页 附图2页 CN 114742997 A 2022.07.12 CN 114742997 A 1.一种面向图像分割的全卷积神经网络密度峰剪枝方法， 包括全卷积神经网络密度峰 剪枝和图像分割两个部分， 其特 征在于： (一)全卷积神经网络密度峰剪枝 所述的全卷积神经网络密度峰剪枝方法共分为基于密度峰聚类的卷积核簇划分、 卷积 核簇内APoZ剪枝以及权 重值参数重新训练三个步骤； (1)基于密度峰聚类的卷积核簇划分 令K＝[k1,k2,...,kn]T， 表示卷积神经网络中第i层卷积层对应的卷积 核， 其中， n表示第 i层的卷积核个数， 且kα∈Rh×w×d表示第α 卷积核， α ＝1,2,...,n， h、 w和d分别表示第i层卷积 核的高度、 宽度以及深度； 将kα展开成一维卷积核向量， 则kα'∈Rs×1， s＝h×w×d， 即s为高度、 宽度、 深度的乘积； 接着将第i层所有卷积核向量 k'α组合为集合： K'＝[k′1,k′2,...,k′n]                      (4) 对K'实行密度峰聚类算法， 设聚类将卷积核聚成m个簇， 则结果 为： CL＝CL1∪CL2∪...∪CLm              (5) 式中， 表示第i层中所有卷积核聚类后， β ＝1,2,...,m， 簇β 中 包含的卷积核集合， 其 中αγ表示簇内对应的卷积核索引值， γ＝1,2,...,|CLβ|， |CLβ|表示 簇β 包含的卷积核个数； (2)卷积核簇内APoZ剪枝 计算第i层中每个卷积核的零激活率 由于各个簇中卷积核个数不尽相同， 因 此根据每个簇中的卷积核个数定义每个簇内阈值 以便于各个簇内剪枝的卷积 核比例相同； 接着遍历每个簇β， 若 CLβ内某卷积核的零激活率 高于阈值 则将其剔除； 簇β 待删除卷积核集 合为： 由此， 第i层筛 选出的待删除卷积核集 合为： (3)权重值参数重新训练 利用训练集合对卷积神经网络 中的部分参数进行重新训练， 等待重新训练的卷积核集 合为： 参数重新训练结束后， 则该层卷积层完成一次剪枝过程； 此时若该层剩余卷积核数量 达到压缩比例要求， 则开始对 全卷积神经网络的i+1层剪枝， 否则重复上述过程； (二)图像分割 待全卷积神经网络所有层都已剪枝后， 完成对该网络的轻量化操作； 轻量化操作后的 网络用于边缘侧设备 处理图像 分割任务； 以图像数据作为输入， 每输入一张图片， 该网络都 会输出一张分割后的等比例大小图片。权　利　要　求　书 1/1 页 2 CN 114742997 A 2一种面向图像分割的全卷积神经 网络密度峰剪枝方 法 技术领域 [0001]本发明属于图像处理领域， 涉及一种面向边缘计算的基于密度峰聚类的全卷积神 经网络轻量 化剪枝方法， 可用于基于深度学习的图像分割技 术， 在边缘节点设备的部署。 背景技术 [0002]卷积神经网络(Convolutional  Neural Network， CNN)在不断提高计算机视觉任 务精度上限的同时， 其网络结构的深度和尺寸也在成倍增长。 为解决语义级别的图像分割 问题， Jonathan  Long提出了全卷积神经网络(Fu lly Convolutional  Network， FCN)对图像 进行像素级的分类(Long,J.,Shelhamer,E.,&Darrell,T.,2015.Fully  convolutional   networks  for semantic  segmentation.In  Proceedings  of the IEEE conference  on  computer  vision and pattern recognition,pp.3431 ‑3440.)。 与经典的CNN在 卷积层之 后使用全连接层得到固定长度的特征向量进行分类不同， FCN可以接受任意尺寸的输入图 像， 采用反卷积层对最后一个卷积层的特征图进行上采样， 使它恢复到输入图像相同的尺 寸。 基于该方式， FCN能够对每个像素都产生了一个预测， 同时保留了原始输入图像中的空 间信息， 最后在上采样的特 征图上进行 逐像素分类。 [0003]尽管卷积神经网络模型的在视觉任务方面精度高、 效果理想， 但其也有结构复杂、 存储开销大、 计算资源高等缺点。 以典型的卷积神经网络VGG16为例， 其参数量达1亿3千多 万， 模型占用近500MB存储空间， 一次图像识别任务需要完成超300亿次浮点运算。 然而由于 边缘节点设备的存储和计算资源有限， CNN等诸多深度学习模型难以准确且高效地落实到 边缘侧硬件平 台， 这已成为产学研界关注的重要课题。 由于FCN模型卷积层结构与VGG16相 同， 因此FCN模型往往存在大量的冗余神经元， 参与主要计算并对最 终结果产生影响的参数 只占总量的一部分， 这给神经网络压缩提供了理论基础。 若能采用合理的压缩手段压缩神 经网络模型， 便可将这些模型 更广泛地部署在诸多边 缘节点设备中。 [0004]从数据、 模型和硬件的角度来分析， 压缩和加速模型的方法主要包括两种。 一是构 建新的轻量化网络结构， 例如， Google团队提出应用于移动端的网络模型MobileNet， 借助 深度可分离 卷积(Depth ‑wise Separable  Convolution)代替传统卷积， 可有效降低网络权 重的数量(Howard,A.G.,Zhu,M.,Chen,B.,Kalenichenko,D.,Wang,W.,Weyand,T., Andreetto,M.and  Adam,H.,2017.Mobilenets:Efficient  convolutional  neural  networks  for mobile vision applications.arXiv  preprint  arXiv:1704.04861.)。 二 是压缩已有网络模型， 涉及剪枝(Pruning)、 量化(Quantization)、 低秩分解(Low ‑rank  Factorization)、 知识蒸馏(Knowle dge Distillation)等方法， 其中剪枝是最常用的神经 网络压缩方法。 [0005]剪枝是一种剔除神经网络中冗余神经元的模型优化技术。 剪枝后的神经网络运行 速度更快， 网络训练成本更低， 此技术在 模型轻量化部署时尤为关键。 神经网络剪枝方法的 研究始于上世纪80年代末90年代初。 Hanson等人提出了基于幅值的剪枝(Magnitude ‑based  Pruning)方法， 通过对网络中每个隐藏层节 点施加与其绝对值相关的权重值衰减来最小化说　明　书 1/7 页 3 CN 114742997 A 3