(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211296268.5 (22)申请日 2022.10.21 (71)申请人 深圳大学 地址 518060 广东省深圳市南 山区南海大 道3688号 (72)发明人 刘英　周纪军　陈庭槿　赵志扬　 李昌贸　阮润康　陈智鑫　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 朱阳波 (51)Int.Cl. G06V 20/05(2022.01) G06V 20/40(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/766(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于量化鱼类识别神经网络模型的成像识 别方法及装置 (57)摘要 本发明公开了基于量化鱼类识别神经网络 模型的成像识别方法及装置； 包括： 搭建鱼类识 别神经网络模 型， 并将训练集输入 搭建的鱼类识 别神经网络模 型进行训练， 对训练后的鱼类识别 神经网络模 型进行通道剪枝； 对完成通道剪枝的 鱼类识别神经网络模型进行模型转换， 转换为适 用于移动终端计算框架的模型格式； 对模型转换 后的鱼类识别神经网络模型， 通过量化模型参 数， 进行量化； 通过量化后的鱼类识别神经网络 模型， 从实时拍摄获取的视频流中抽帧， 对抽帧 后图像进行鱼类识别， 识别出鱼类， 并进行来鱼 提醒。 相较于未量化模型， 本发明占用内存会大 幅减小， 推理速度也会相应提升， 轻量化后的模 型可满足低成本 硬件资源下的计算需求。 权利要求书3页 说明书14页 附图7页 CN 115527106 A 2022.12.27 CN 115527106 A 1.一种基于量 化鱼类识别神经网络模型的成像识别方法， 其特 征在于， 所述方法包括： 预先采集获取 水下图像数据； 对采集获取的所述水下图像数据进行筛选， 筛选图像数据保留预定张包含鱼类图像的 图片； 对筛选出的保留有预定张包含鱼类图像的图片进行标注， 通过矩形框对图片中的鱼类 进行标注， 形成标注后的图片； 对标注后的图片， 进行格式转换形成标签文件， 并将所述标签文件和所述标注后的图 片的集合作为数据集， 并将数据集按预定比例划分为训练集、 验证集、 测试集； 搭建鱼类识别神经网络模型， 并将所述训练集输入搭建的鱼类识别神经网络模型， 得 到训练后的鱼类识别神经网络模型； 对训练后的鱼类识别神经网络模型进行通道剪枝； 对完成通道剪枝的鱼类识别神经网络模型进行模型转换， 转换为适用于移动终端计算 框架的模型格式； 对模型转换后的鱼类识别神经网络模型， 通过量 化模型参数， 进行量 化； 通过量化后的鱼类识别神经网络模型， 从实时拍摄获取的视频流中抽帧， 对抽帧后图 像进行鱼类识别， 识别出鱼类， 在鱼的周围绘制预测框， 并进行来鱼提醒。 2.根据权利要求1所述的基于量化鱼类识别神经网络模型的成像识别方法， 其特征在 于， 所述对标注后的图片， 进 行格式转换形成标签文件， 并将所述标签文件和所述标注后的 图片的集合作为数据集， 并将数据集按预定比例划分为训练集、 验证集、 测试集的步骤包 括： 对每标注一张图片自动生成一个xml文件； 把全部xml文件转换为txt格式文件， 其中， txt文件包括了五个数值： 鱼的类别用1表 示， 以及框的左上角坐标x,y以及右下角坐标x,y； 并将所述标签文件和所述标注后的图片的集 合作为数据集， 用于神经网络训练； 并将数据集按照8 :1:1比例划分为训练集、 验证集、 测试集。 3.根据权利要求1所述的基于量化鱼类识别神经网络模型的成像识别方法， 其特征在 于， 所述搭建鱼类识别神经网络模型， 并将所述训练集输入搭建的鱼类识别神经网络模型， 得到训练后的鱼类识别神经网络模型的步骤 包括： 使用CSPDarknet作为特 征提取网络， 提取图像的一系列不同尺度特 征图； 在特征提取网络中运用4个跨阶段局部网络模块和一个特征金字塔池化模块进行串 联； 通过跨阶段局部网络将原输入分成两个分支， 分别进行卷积操作使 得通道数减半， 一个 分支不作任何 处理， 另一个分支进行多次残差结构， 最后融合两个分支的通道； 在每个跨阶段局部网络模块前面放置大小为3*3， stride＝2的卷积核， 起到下采样作 用； 在第3个跨阶段局部网络模块后添加特征金字塔池化模块， 通过特征金字塔池化模块将 任意大小的特征图转换成 固定大小的特征向量， 通过特征金字塔池化模块对输入特征图进 行三个池化操作， 另外再和一个未进行池化的输入进行拼接， 以进行多尺度特 征融合； 通过特征提取网络最终输出三个特征层， 称为有效特征层， 三个特征层位于特征提取 网络的三个不同位置， 分别位于中间层， 中下层， 底层； 通过提取的三个特 征层进行 特征金字塔网络层构建， 获得三个加强特 征层。权　利　要　求　书 1/3 页 2 CN 115527106 A 24.根据权利要求3所述的基于量化鱼类识别神经网络模型的成像识别方法， 其特征在 于， 所述搭建鱼类识别神经网络模型， 并将所述训练集输入搭建的鱼类识别神经网络模型， 得到训练后的鱼类识别神经网络模型的步骤 包括： 把获得三个加强特征层传入检测层， 在训练时， 检测层对三个加强特征层的每个特征 图像素点生成3个预测框， 通过锚框机制与特征层数据关联， 生成具有目标类别、 类别概率 和预测框位置的输出矩阵； 当检测层检测到有鱼类目标时， 在鱼类目标周围产生预测框， 并对所述预测框进行值 抑制， 最后只保留一个预测框， 对应的在原图像上一条鱼类即绘制一个预测框， 完成对鱼类 识别神经网络模型的训练。 5.根据权利要求1所述的基于量化鱼类识别神经网络模型的成像识别方法， 其特征在 于， 所述对训练后的鱼类识别神经网络模型进行通道剪枝的步骤 包括： 在训练后的鱼类识别神经网络模型的卷积层 之后插入一个批标准化层， 将特征图送入 批标准化层得到归一 化之后的特 征图； 设置一个决定 剪枝掉通道数占比的剪枝率； 根据设置的剪枝率， 对应剪枝掉训练后的鱼类识别神经网络模型的通道数， 得到紧凑 的网络模型； 对剪枝后得到的紧凑的网络模型重新训练并微调剪枝率， 使之尽可能达到剪枝前的识 别效果， 从而得到最佳剪枝后的鱼类识别神经网络模型。 6.根据权利要求1所述的基于量化鱼类识别神经网络模型的成像识别方法， 其特征在 于， 对完成通道剪枝的鱼类识别神经网络模型进行模型转换， 转换为适用于移动终端计算 框架的模型格式的步骤 包括： 对完成通道剪枝 的鱼类识别神经网络模型进行模型转换， 采用ONNX作为中间层， 使用 torch2onnx工具将训练好的网络模型权重首先转换为ONNX格式， 再使用onnx2ncnn工具将 ONNX格式文件转 为NCNN模型， 转换为 适用于移动终端计算框架的模型格式。 7.根据权利要求6所述的基于量化鱼类识别神经网络模型的成像识别方法， 其特征在 于， 所述对模型转换后的鱼类识别神经网络模型， 通过量化模型参数， 进行量化的步骤包 括： 对模型转换后的鱼类识别神经网络模型， 通过量化模型参数以再一次对模型轻量化， 得到量化后的鱼类识别神经网络模型。 8.一种基于量 化鱼类识别神经网络模型的成像识别装置， 其特 征在于， 包括： 预先采集模块， 用于预 先采集获取 水下图像数据； 图像筛选模块， 用于对采集获取的所述水下图像数据进行筛选， 筛选 图像数据保留预 定张包含鱼类图像的图片； 图像标注模块， 用于对筛选出的保留有预定张包含鱼类图像的图片进行标注， 通过矩 形框对图片中的鱼类进行 标注， 形成标注后的图片； 数据集集合模块， 用于对标注后的图片， 进行格 式转换形成标签文件， 并将所述标签文 件和所述标注后的图片的集合作为数据集， 并将数据集按预定比例划分为训练集、 验证集、 测试集； 神经网络模型搭建模块， 用于搭建鱼类识别神经网络模型， 并将所述训练集输入搭建权　利　要　求　书 2/3 页 3 CN 115527106 A 3