(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111650132.5 (22)申请日 2021.12.3 0 (71)申请人 东北农业大 学 地址 150000 黑龙江省哈尔滨市香坊区长 江路600号 (72)发明人 戴百生　孙红敏　高悦　沈维政　 李润泽　刘洪贵　包军　熊本海　 (74)专利代理 机构 北京东方盛凡知识产权代理 事务所(普通 合伙) 11562 代理人 袁蕾 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 20/52(2022.01) G06V 10/764(2022.01) (54)发明名称 融合时空双注意力机制的群养生猪争斗行 为识别方法 (57)摘要 本发明公开了融合时空双注意力机制的群 养生猪争斗行为识别方法， 包括以下步骤： 通过 摄像头采集群养生猪争斗行为视频数据， 建立数 据集； 将视频数据进行抽帧操作， 以水平翻转、 垂 直翻转、 对角翻转及下调50％图像亮度的方法进 行数据增强； 构建融合空间和时序注 意力机制的 时空组合模 型， 并通过增强后得到的数据训练得 到争斗行为识别效果最佳的时空组合模型。 该融 合时空双注意力机制的群养生猪争斗行为识别 方法， 解决了视频数据在空间和时间域具有 过多 冗余信息和不显著特征而导致识别效果不佳的 问题， 对于同一批群养生猪争斗行为数据其识别 效果超过了预训练模型的识别精度， 有益于提高 生猪养殖业的经济效益。 权利要求书1页 说明书4页 附图2页 CN 114299436 A 2022.04.08 CN 114299436 A 1.融合时空双注意力机制的群养生猪争斗行为识别方法， 其特 征在于， 包括以下步骤： S1： 通过摄像头以垂直向下的视角采集混群后72小时之内猪群行为的视频数据， 并人 工挑选出争斗行为与非争斗行为视频片段， 标注为争斗与非争斗两类， 建立群养生猪争斗 行为数据集， 将数据集分为训练集、 验证集和 测试集； S2： 将视频数据进行抽帧操作， 以水平翻转、 垂直翻转、 对角翻转及下调50％图像亮度 的方法进行 数据增强； S3： 构建融合空间注意力机制的VGG16卷积神经网络模型， 将S2中得到的数据作 为该模 型的输入， 并将训练好的模型去掉全连接层作为空间特 征提取器； S4： 使用S3中的空间特 征提取器对数据逐帧提取空间特 征， 输出为向量形式； S5： 构建融合了时序注意力机制的门循环单元GRU作 为时序网络模型， 其输入为S4中得 到的空间特 征向量， 经 过训练得到时序网络模型最佳权 重。 2.根据权利要求1所述的融合时空双注意力机制的群养生猪争斗行为识别方法， 其特 征在于： 所述S3中的融合空间注意力机制的VGG16卷积神经网络模型包括依次连接的输入 层、 VGG16网络中的5层卷积层、 空间注意力模块、 三层全连接层 及soft‑max输出层。 3.根据权利要求1所述的融合时空双注意力机制的群养生猪争斗行为识别方法， 其特 征在于： 所述S 3中的空间特征提取器包括依次连接的输入层、 VGG16网络中的5层卷积层、 空 间注意力模块及Flat ten层。 4.根据权利要求1所述的融合时空双注意力机制的群养生猪争斗行为识别方法， 其特 征在于： 所述S5中的时序网络模型包括依次连接的GRU门循环单元、 时序注意力模块、 全连 接层及soft‑max输出层。 5.根据权利要求1所述的融合时空双注意力机制的群养生猪争斗行为识别方法， 其特 征在于： 所述S1中的摄像头为海康威视网络摄像头， 型号为DS ‑2CD3345D ‑I， 帧率为25 fps/ s， 视频分辨率为2560*1440， 所述挑选视频片段是通过Pot ‑player软件进行人工察看、 剪 辑， 经过剪辑后的视频文件以.mp4文件格式进行保存， 并分别根据类别进行归类。 6.根据权利要求1所述的融合时空双注意力机制的群养生猪争斗行为识别方法， 其特 征在于： 所述S2中对视频数据逐帧抽取和数据增强操作所使用程序均基于Opencv库开发， 得到的二维图像 格式均为.jpg， 使用的显卡 为NVIDIA‑RTX‑5000。 7.根据权利要求1所述的融合时空双注意力机制的群养生猪争斗行为识别方法， 其特 征在于： 所述S3中的融合空间注意力机制的VGG16卷积神经网络模型以S2 中得到的数据进 行训练得到预测类别， 并和真实类别进行比较， 根据差值反向更新， 迭代调整网络模型参 数， 所述空间注意力模块包括依次连接的BN层、 两层卷积层、 一层局部连接层和一层卷积 层。 8.根据权利要求1所述的融合时空双注意力机制的群养生猪争斗行为识别方法， 其特 征在于： 所述S4中空间特 征提取器输出的向量维度为25 088。权　利　要　求　书 1/1 页 2 CN 114299436 A 2融合时空双注意力机制的群养生猪争斗行为识别方 法 技术领域 [0001]本发明涉及视频行为分析技术领域， 具体为融合时空双注意力机制的群养生猪 争 斗行为识别方法。 背景技术 [0002]现如今生猪养殖业越来越趋于集约化和规模化， 每一只生猪在养殖过程中都会经 历多次混群， 混群之后大概率会 出现争斗行为。 该行为会严重影响生猪的生长率和繁殖率， 降低养殖场的经济收益， 因此在生猪养殖业中需要注意群体饲养的生猪是否发生争斗行 为， 判断是否需要进 行人为干预。 随着数字图像处理技术和深度学习领域的发展， 相较于以 往的人工观察方式， 现在越来越多的学者倡议使用计算机视觉方法进 行自动无接触的识别 争斗行为。 这种方法实时高效， 在一定程度上能够极大的保证生猪的动物福利， 节约人工成 本， 减少发生人畜疾病交叉感染的风险， 进一步还可以辅助动物科学领域相关研究人员对 生猪行为的观察与研究。 [0003]目前群养生猪 争斗行为识别领域的主流方法为传统方法和深度学习方法。 传统方 法是基于图像处理技术提取猪只图像中的行为相关特征， 再结合机器学习等手段对特征进 行处理来识别争斗行为。 此方法精度较高， 但需要额外提取特征(如活动 指数、 粘连指数等) 导致效率低下， 并且不同种类猪只个体差异性大， 在生长的过程中猪只 非刚性的躯体也会 逐渐发生变化， 故提取的特征可能不具有普适性。 此外由于猪舍内猪体粘连、 遮挡、 不良照 明条件以及群养生猪争斗行为的复杂性等原因， 传统方法难以在集约化养殖的猪场内实 时、 高效的进 行群养生猪争斗行为的识别。 随着深度学习的兴起， 越来越多的研究人员尝试 使用深度学习方法来识别争斗行为， 此方法为实时行为识别提供了可能， 但是识别精度还 有待提高。 发明内容 [0004](一)解决的技 术问题 [0005]针对现有技术的不足， 本发明提供了融合时空双注意力机制的群养生猪 争斗行为 识别方法， 具备着重关注视频数据在空间、 时间域中的重要特征且不需要额外提取非普适 性特征的优点。 [0006](二)技术方案 [0007]为实现上述目的， 本发明提供如下技术方案： 融合时空双注意力机制的群养生猪 争斗行为识别方法， 包括以下步骤： [0008]S1： 通过摄像头以垂直向下的视角采集混群后72小时之内猪群行为的视频数据， 并人工挑选出争斗行为与非争斗行为视频片段， 标注为争斗与非争斗两类， 建立群养生猪 争斗行为数据集， 将数据集分为训练集、 验证集和 测试集。 [0009]S2： 将视频数据进行抽帧操作， 以水平翻转、 垂直翻转、 对角翻转及下调50％图像 亮度的方法进行 数据增强。说　明　书 1/4 页 3 CN 114299436 A 3