(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111680833.3 (22)申请日 2021.12.3 0 (71)申请人 南京景瑞康分子医药 科技有限公司 地址 210000 江苏省南京市江北新区磐固 路16号2栋 (72)发明人 王瑶　张珏　程和平　 (74)专利代理 机构 北京布瑞知识产权代理有限 公司 11505 代理人 秦卫中 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/246(2017.01) G06T 7/269(2017.01) (54)发明名称 训练方法及训练装置 (57)摘要 本申请提供了一种训练方法及训练装置。 所 述方法包括： 获取训练样本， 所述训练样本为记 录啮齿类动物 运动的图像序列； 将所述训练样本 输入神经网络模 型， 得到所述啮齿类动物的姿态 的识别结果， 所述识别结果包括所述啮齿类动物 的姿态中的关键点； 根据所述啮齿类动物的姿态 的识别结果， 利用损失函数， 使用梯度下降法对 所述神经网络模型进行训练。 其中， 所述损失函 数包括时间约束项， 所述时间约束项用于约束所 述啮齿类动物的姿态中的关键点在所述图像序 列中的相邻图像帧之间的位置。 根据上述方法训 练的神经网络模型在进行小鼠等啮齿类动物的 姿态识别时， 能够有效避免识别结果在时域上的 抖动现象。 权利要求书3页 说明书12页 附图3页 CN 114333068 A 2022.04.12 CN 114333068 A 1.一种训练方法， 其特 征在于， 包括： 获取训练样本， 所述训练样本为记录啮齿类动物运动的图像序列； 将所述训练样本输入神经网络模型， 得到所述啮齿类动物的姿态的识别结果， 所述识 别结果包括所述啮齿类动物的姿态中的关键点； 根据所述啮齿类动物的姿态的识别结果， 利用损 失函数， 使用 梯度下降法对所述神经 网络模型进行训练； 其中， 所述损 失函数包括时间约束项， 所述时间约束项用于约束所述啮齿类动物的姿 态中的关键点在所述图像序列中的相邻图像帧之间的位置 。 2.根据权利要求1所述的方法， 其特 征在于， 所述神经网络模型包括HRNet网络 。 3.根据权利要求2所述的训练方法， 其特征在于， 在所述对所述神经网络模型进行训练 之前， 所述训练方法还 包括： 根据利用跟踪方法获取的关键点的位置与 所述识别结果中关键点的位置的误差， 确定 所述时间约束 项。 4.根据要求3所述的训练方法， 其特 征在于， 所述跟踪方法包括 Lucas‑Kanade光 流法。 5.根据权利要求3所述的训练方法， 其特征在于， 所述根据利用跟踪方法获取的关键点 的位置与所述识别结果中关键点的位置的误差， 确定所述时间约束 项， 包括： 从所述训练样本中选择m个样本作为跟踪样本， 其中m为大于或等于2的正整数； 将所述跟踪样本的识别结果 中的第一帧 作为初 始帧， 进行前向跟踪， 得到前向跟踪结果 确定所述前向跟踪结果与所述跟踪样本中的 第m个图像帧的识别结果的差值为： 其中ω为每一个图像帧上的关键点 的个数； 将所述跟踪样本的识别结果中的最后一帧 作为终止帧， 进行后向跟踪， 得到后向 跟踪结果 确定所述后向跟踪 结果与所述跟踪样本中的第1个图像帧的识别结果的差值 为 将所述跟踪样本的识别结果中的第一帧 作为初始帧 进行前向跟踪， 得到前向 跟踪结果 以所述前向跟踪结果 作为初始帧， 进行后向跟踪， 得到第二后向跟踪结果 所述 第二后向跟踪结果与所述初始帧 的差值为 确定时间约束 项为： 其中E1为阈值。 6.根据权利要求1所述的训练方法， 其特 征在于， 所述损失函数还包括空间约束项， 所述空间约束项用于限定所述啮齿类动物的姿态中 的关键点在同一帧图像中的位置 。权　利　要　求　书 1/3 页 2 CN 114333068 A 27.根据权利要求6所述的训练方法， 其特征在于， 在所述对所述神经网络模型进行训练 之前， 所述训练方法还 包括： 根据所述识别结果中的多个关键点的位置之间的差值， 确定所述空间约束 项。 8.根据权利要求7所述的训练方法， 其特征在于， 所述根据 所述识别结果中的多个关键 点的位置之间的差值， 确定所述空间约束 项， 包括： 从所述训练样本中选择p个样本， 其中p为大于或等于2的正整数； 确定所述p个样本的识别结果 中两两关键点的距离 所述距离 符合高斯分布， 确 定所述距离 的均值μ和方差 σ2， 其中ω为每一个图像帧上的关键点的个数； 确定空间约束 项为： 9.根据权利要求1所述的训练方法， 其特征在于， 所述损 失函数还包括误差约束项， 所 述误差约束项用于约束所述啮齿类动物的姿态中的关键点在所述识别结果和标注结果中 的误差。 10.根据权利要求9所述的训练方法， 其特 征在于， 所述 误差损失项为均方误差损失项。 11.一种训练装置， 其特 征在于， 包括： 获取模块， 用于获取训练样本， 所述训练样本为记录啮齿类动物运动的图像序列； 输入模块， 用于将所述训练样本输入神经网络模型， 得到所述啮齿类动物的姿态的识 别结果， 所述识别结果包括所述啮齿类动物的姿态中的关键点； 训练模块， 用于根据 所述啮齿类动物的姿态的识别结果， 利用损失函数， 使用梯度 下降 法对所述神经网络模型进行训练； 其中， 所述损 失函数包括时间约束项， 所述时间约束项用于约束所述啮齿类动物的姿 态中的关键点在所述图像序列中的相邻图像帧之间的位置 。 12.根据权利要求1 1所述的训练装置， 其特 征在于， 所述神经网络模型包括HRNet网络 。 13.根据权利要求12所述的训练装置， 其特征在于， 在所述对所述神经网络模型进行训 练之前， 所述训练装置还 包括： 第一确定模块， 用于根据利用跟踪方法获取的关键点的位置与 所述识别结果中关键点 的位置的误差， 确定所述时间约束 项。 14.根据权利 要求13所述的训练装置， 其特征在于， 所述跟踪方法包括Lucas ‑Kanade光 流法。 15.根据权利要求14所述的训练装置， 其特 征在于， 所述第一确定模块用于： 从所述训练样本中选择m个样本作为跟踪样本， 其中m为大于或等于2的正整数； 将所述跟踪样本的识别结果 中的第一帧 作为 初始帧， 进行前 向跟踪， 得到前向跟踪结果 确定所述前向跟踪结果与所述跟踪样本中 的第m个图像帧的识别结果的差值为： 其中ω为每一个图像帧上的关键权　利　要　求　书 2/3 页 3 CN 114333068 A 3