(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210040783.0 (22)申请日 2022.01.14 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 朱伟兴　肖夏伟　李新城　 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/28(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于嘴部区域的猪只饮水行为和多特 征融合的身份识别方法 (57)摘要 本发明公开了一种基于嘴部区域的猪只饮 水行为和多特征融合的身份识别方法。 首先， 采 集视频并分帧， 利用基于统计分配多阈值的网格 点连通分割算法对猪只图像进行分割； 其次， 根 据与轮廓模板的相似性， 初步判断饮水行为， 再 通过饮水口框与嘴部框的重合度， 精确判断饮水 行为； 最后， 将分割后的饮水猪图像和关键点二 维特征输入多尺度双通道识别网络， 利用基于三 期动量的步进更新算法对上述网络中的特征融 合超参数ε和损失融合超参数γ进行优化选取， 获得最优识别网络， 实现饮水猪的身份识别。 权利要求书4页 说明书8页 附图3页 CN 114511925 A 2022.05.17 CN 114511925 A 1.一种基于嘴部区域的猪只饮水行为和多特征融合的身份识别方法， 其特征在于， 包 括以下步骤： 步骤1， 采集视频， 对视频分帧并筛选出关键帧作数据集， 将数据集划分为训练集、 验证 集和测试集； 利用提出的基于统计 分配多阈值的网格点连通分割算法SAM ‑GPSA对猪图像进 行分割； 步骤2， 在猪图像上标定饮水口框， 并提取其轮廓作为轮廓模板； 当轮廓相似性小于 95％， 初步判断存在饮水行为； 再对存在饮水行为的图像， 利用改进的Pig ‑YOLO网络检测嘴 部框， 当饮水口框与嘴部 框的重合度达9 9％， 精确判断存在饮水 行为； 步骤3， 对分割后饮水猪图像利用局部二值模式中0和1的跃变次数初步选取关键点； 再 利用提出的均匀网格块非极值剔除算法筛选关键点； 然后利用提出的描述符向量融合算法 进行关键点特征提取， 即利用改进的旋转不变的BRIEF描述符向量和MLBP描述符向量生成 旋转不变的均匀关键点 二维特征； 步骤4， 将分割后的饮水猪图像和关键点二维特征输入多尺度双通道识别网络； 利用改 进的基于三期动量的步进 更新算法对上述网络中的特征融合超参数ε和损失融合超参数γ 进行优化选取， 获得最优识别网络， 实现饮水猪的身份识别。 2.根据权利要求1所述基于嘴部区域的猪只饮水行为和多特征融合的身份识别方法， 其特征在于， 步骤1中利用提出的基于统计分配多阈值的网格点连通分割 算法SAM‑GPSA对 猪图像进行分割具体包括： 1.1)对图像进行灰度化处理并分块， 将分块的四个边的交点作为网格点， 便于后续利 用网格点进行 连通操作； 1.2)根据整张图像的灰度直方图， 按背景和前景灰度的峰值位置左右各浮动 5％， 选取 背景灰度值区间和前景灰度值区间， 作为整体标准， 对每一分块的直方图进行 统计， 计算在 整体标准下的背 景和前景灰度值区间内所包含的像素点个数的比例， 比例按照四舍五入的 方式取整， 此时每一比例都会对应一个阈值； 通过不同比例下阈值的自适应学习， 寻求不同 比例对应的最优阈值； 利用网格点连通分块中达到阈值的邻接像素点， 生成对应的连通块， 将连通块合并为连通域， 对分割后的图像进 行漫水填充和反转漫水填充， 消除过分割孔洞； 重复执行上述操作， 直至 达到最佳分割效果。 3.根据权利要求1所述基于嘴部区域的猪只饮水行为和多特征融合的身份识别方法， 其特征在于， 所述 步骤2具体包括： 2.1)在猪图像上标定饮水口区域， 获取饮水口框坐标， 提取饮水口轮廓作为轮廓模板。 提取待识别的图片中饮水口坐标区域内的图片， 与轮廓模板进 行差分， 计算出轮廓相似性； 当其相似性小于95％时， 认为此时轮廓相似性不 足， 饮水器不完全处于外露状态， 猪只可能 发生饮水 行为； 2.2)对可能存在饮水行为的图像利用Pi g‑YOLO网络检测嘴部框， 根据饮水口框与嘴部 框的重合度来识别饮水行为， 若饮水 口框与嘴部框重合度达99％， 此时饮水 口处于猪只嘴 部区域中， 猪只发生饮水 行为。 4.根据权利要求3所述基于嘴部区域的猪只饮水行为和多特征融合的身份识别方法， 其特征在于， 所述利用Pig ‑YOLO网络检测嘴部框具体包括： 将YOLOv3网络改进为Pig ‑YOLO 网络作为嘴部区域检测网络；权　利　要　求　书 1/4 页 2 CN 114511925 A 21)在特征提取网络Darknet ‑53的卷积层后引入批归一化BN层， 改善 网络反向传播的梯 度质量； 2)将非线性激活层改用Leaky  Relu层， 增强网络 的非线性表达能力， 保证反向传播的 梯度不会消失； 3)调整输出层的锚框参数为(0/1,x,y,w,h)， 其中1为锚框中有目标， 0为锚框中没有目 标， (x,y)为锚框左上角的点坐标， w和 h分别为锚框的长和 宽， 调整后的锚框参数适应本专 利单目标检测的要求， 并且可以有效提升识别速度； 4)调整输出层的目标框为26*26*15、 52*52*15和104*104*15。 其中26、 52、 和104为目标 框尺寸， 15＝3*5为目标框的深度， 3代表每个目标框位置对应原图的3个锚框， 5代表上述锚 框5个参数。 缩小目标框中每一像素点所对应的原图感受野区域， 符合嘴部区域的小目标检 测的要求。 5.根据权利要求3所述基于嘴部区域的猪只饮水行为和多特征融合的身份识别方法， 其特征在于， 所述步骤3中， 初步选取关键点具体包括： 遍历分割后的饮水猪图像上所有像 素点， 当像素点的局部二值模式描述符 的0‑1与1‑0的跃变次数达到两次， 即此时中心像素 点与周围像素点表现出较大差异性， 将该点记录为初步选取的关键点。 6.根据权利要求3所述基于嘴部区域的猪只饮水行为和多特征融合的身份识别方法， 其特征在于， 所述步骤3中利用提出的均匀网格块非极值剔除算法筛选 关键点具体包括： 该 算法先对原图像均匀分块； 再对分块中的关键点进 行筛选， 保留网格块中最显著的关键点； 筛选方式如下： 1)当分块中存在关键点个数小于或者等于一个的情况， 则不需要剔除该关 键点； 2)当分块中存在关键点个数大于一个的情况， 对关键点的局部二值模式描述符的跃 变次数进行 由大到小的排序， 仅保留跃变次数最大 的作为关键点； 考虑到跃变次数相同的 情况， 计算关键点与周围八个点的差值并求和， 再进 行由大到小排序， 仅保留和值最大的作 为关键点。 7.根据权利要求1所述基于嘴部区域的猪只饮水行为和多特征融合的身份识别方法， 其特征在于， 所述 步骤3中改进的旋转 不变的BRIEF描述符具体包括： a)对关键点邻接的24个像素点进行符合 高斯分布的点配对(b,d)， 并把100个高斯随机 配对点作差， 按照差的大小排序， 选取前8个配对点的差作为8维的特征描述符,并对描述符 进行归一 化； b)计算所有关键点的灰度质心点的坐标， 选取所有分块中位于中心位置的分块， 利用 该分块中的关键点作为起始点， 将该关键点指向灰度质心点的方向作为主方向， 对关键点 按照主方向进 行相应特征描述符的排列， 得出旋转不变的稳定二进制特征BRIEF描述符， 灰 度质心的计算公式如(1)、 (2)、 (3)所示： θ ＝atan2(n01,n10)   (3) 其中， nbd为高斯邻域的矩， n00、 n01和n10分别为关键点以及其左右邻近点的矩； (b,d)为 符合高斯分布 规律的随机选值； x和y取值区间均为[ ‑2,2]， (x,y)代表以关键点为原点的24 个邻接像素点 坐标； I(x,y)为邻域内的灰度值； O为质心的坐标； θ 为方向角。权　利　要　求　书 2/4 页 3 CN 114511925 A 3