(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210028850.7 (22)申请日 2022.01.11 (71)申请人 北京市农林科 学院信息技 术研究中 心 地址 100097 北京市海淀区曙光 花园中路 11号农科大厦A座1 107 (72)发明人 周超　赵振锡　杨信廷　刘锦涛　 冯双星　孙传恒　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 张琪 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06V 10/44(2022.01) G06V 10/25(2022.01) (54)发明名称 一种水下鱼类群组活动强度识别方法及装 置 (57)摘要 本发明提供一种水下鱼类群组活动强度识 别方法及装置， 包括： 获取目标鱼群在水下的多 个目标鱼群图像； 基于多个目标鱼群图像中的时 间信息， 将多个目标鱼群图像输入至行为识别模 型， 确定由行为识别模型输出的目标鱼群的个体 行为信息和群组行为强度信息； 行为识别模型是 基于特征向量分布矫正模块构建的。 本发明提供 的水下鱼类群组活动强度 识别方法及装置， 通过 基于特征向量分布矫正模块构建行为识别模型， 能够使用少量的扩充数据样本特征和基础样本 数据集特征来使得活动特征向量的纬度服从高 斯分布， 进而有效地解决使用少数样本学习的估 计分布与真实分布之间的不匹配情况， 从而提高 鱼类群组行为的识别精度。 权利要求书2页 说明书12页 附图2页 CN 114463675 A 2022.05.10 CN 114463675 A 1.一种水 下鱼类群组活动强度识别方法， 其特 征在于， 包括： 获取目标鱼群在水 下的多个目标鱼群图像； 基于所述多个目标鱼群图像中的时间信 息， 将所述多个目标鱼群图像输入至行为识别 模型， 确定由所述行为识别模型输出的所述目标鱼群的个体行为信息和群组行为强度信 息； 所述行为识别模型是基于带有个体行为信息标签和群组行为强度信息标签的样本鱼 群图像训练后得到的； 所述行为识别模型用于基于所述 目标鱼群图像， 识别所述 目标鱼群 的行为； 所述行为识别模型 是基于特 征向量分布矫 正模块构建的。 2.根据权利要求1所述的水下鱼类群组活动强度识别方法， 其特征在于， 所述获取目标 鱼群在水 下的多个目标鱼群图像， 包括： 获取所述目标鱼群的视频 数据； 根据所述视频 数据中每帧图像的时间信息， 确定所述目标鱼群的多个初始图像； 对所有的初始图像进行尺寸预处 理， 确定所述多个目标鱼群图像。 3.根据权利要求1或2所述的水下鱼类群组活动强度识别方法， 其特征在于， 在所述将 所述多个目标鱼群图像输入至行为识别模型之前， 还 包括： 从水下鱼群视频中抽取多帧鱼群图像； 将所述多帧鱼群图像进行 预处理， 获取多个样本鱼群图像； 确定每个样本鱼群图像的群组活动强度信 息标签， 以及所述每个样本鱼群图像中每条 鱼的个体行为信息标签； 将每个样本鱼群图像， 以及所述每个样本鱼群图像对应的群组活动强度信 息标签和个 体行为信息标签的组合， 作为 一个训练样本， 获取多个训练样本； 基于每个训练样本中的时间信息， 利用所述多个训练样本对初始识别模型进行训练， 获取所述行为识别模型。 4.根据权利要求3所述的水下鱼类群组活动强度识别方法， 其特征在于， 在所述利用所 述多个训练样本对初始 识别模型进行训练之前， 还 包括： 基于主干网络、 个体动作特征提取网络和区域特征聚集模块， 构建注意力机制残差网 络； 基于所述注意力机制残差网络、 图卷积网络和特征向量分布矫正模块， 构建所述初始 识别模型； 所述初始 识别模型的损失函数 是基于鱼类 个体行为特点和鱼类 群组行为特点确定的。 5.根据权利要求4所述的水下鱼类群组活动强度识别方法， 其特征在于， 所述基于所述 多个目标鱼群图像中的时间信息， 将所述多个目标鱼群图像输入至行为识别模型， 确定由 所述行为识别模型输出的所述目标鱼群的个 体行为信息和群组行为强度信息， 包括： 基于所述多个目标鱼群图像中的时间信 息， 利用所述注意力 机制残差网络对所述多个 目标鱼群图像进行特征提取和特征融合， 确定所述多个目标鱼群图像的个体动作关系矩 阵； 利用所述图卷积网络对每个目标鱼群图像的个体动作 特征向量进行动作关系推理， 确 定所述每 个目标鱼群图像的活动特 征向量； 利用所述特征向量分布矫正模块， 对各活动特征向量进行高斯分布矫正， 确定所述目权　利　要　求　书 1/2 页 2 CN 114463675 A 2标鱼群的个 体行为信息和群组行为强度信息 。 6.根据权利要求5所述的水下鱼类群组活动强度识别方法， 其特征在于， 所述基于所述 多个目标鱼群图像中的时间信息， 利用所述注意力机制残差网络对所述多个目标鱼群图像 进行特征提取和特 征融合， 确定所述多个目标鱼群图像的个 体动作关系矩阵， 包括： 基于所述多个目标鱼群图像中的时间信 息， 利用所述主干网络对所述多个目标鱼群图 像进行特征提取和融合， 获取多个特 征融合图像； 利用所述个体动作 特征提取网络对所述多个特征融合图像进行个体动作特征提取， 确 定个体动作特 征向量； 利用所述 区域特征聚集模块对所述个体动作特征向量进行动作 特征抠取， 确定所述多 个目标鱼群图像的个 体动作关系矩阵。 7.一种水 下鱼类群组活动强度识别装置， 其特 征在于， 包括： 获取模块， 用于获取目标鱼群在水 下的多个目标鱼群图像； 确定模块， 用于基于所述多个目标鱼群图像中的时间信息， 将所述多个目标鱼群图像 输入至行为识别模型， 确定由所述行为识别模型输出的所述目标鱼群的个体行为信息和群 组行为强度信息； 所述行为识别模型是基于带有个体行为信息标签和群组行为强度信息标签的样本鱼 群图像训练后得到的； 所述行为识别模型用于基于所述目标鱼群图像， 识别所述目标鱼群的行为； 所述行为识别模型 是基于特 征向量分布矫 正模块构建的。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至6任 一项所述水 下鱼类群组活动强度识别方法步骤。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处理器执行时实现如权利要求1至6任一项所述水下鱼类群组活动强度识别方法步 骤。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述水 下鱼类群组活动强度识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 114463675 A 3