(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210191328.0 (22)申请日 2022.02.28 (71)申请人 安徽兰臣信息科技有限公司 地址 230000 安徽省合肥市高新区望江西 路900号中安创谷科技园D9栋4层402 室 (72)发明人 张云龙　 (74)专利代理 机构 合肥律众知识产权代理有限 公司 34147 专利代理师 朱波 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 10/80(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) G06K 9/62(2022.01) A61B 5/16(2006.01) A61B 5/11(2006.01) A61B 5/00(2006.01) (54)发明名称 一种基于深度学习的儿童多动症行为特征 识别算法 (57)摘要 本发明公开了一种基于深度学习的儿童多 动症行为特征识别算法， 涉及识别算法技术领 域。 本发明包括以下步骤： 步骤1： 在待识别儿童 动作的持续时间内， 对动作图像数据集的获取并 进行预处理； 步骤2： 将步骤1中的获取的数据集 分别输入VGG16、 ResultNet50和Incep tion‑V4卷 积神经网络进行分类识别； 步骤3： 通过全局平均 池化操作处理VGG16、 ResultNet50和Inception ‑ V4三个卷积神经网络的最后一层卷积特征； 步骤 4： 通过特征拼接计算VGG16、 ResultNet50和 Inception‑V4卷积神经网络的注意力融合权重； 步骤5： 通过内积操作将注意力融合权重和三个 所述模型的特征值进行融合。 提高识别的结果的 精确度， 能够有效的提高识别的精确度， 辅助医 疗工作者完成儿童多动症的初步诊断。 权利要求书1页 说明书4页 附图1页 CN 114565975 A 2022.05.31 CN 114565975 A 1.一种基于深度学习的儿童多动症行为特 征识别算法， 其特 征在于： 包括以下步骤： 步骤1： 在待识别儿童动作的持续时间内， 对动作图像数据集的获取并进行 预处理； 步骤2： 将步骤1中的获取 的数据集分别输入VGG16、 ResultNet50和 Inception ‑V4卷积 神经网络进行分类识别； 步骤3： 通过全局平均池化操作处理V GG16、 ResultNet50和Inception ‑V4三个卷积神经 网络的最后一层卷积特 征； 步骤4： 通过特征拼接计算VGG16、 ResultNet50和Inception ‑V4卷积神经网络的注意力 融合权重； 步骤5： 通过内积 操作将注意力融合权 重和三个所述模型的特 征值进行融合。 2.根据权利要求1所述的一种基于深度学习的儿童多动症行为特征识别算法， 其特征 在于， 所述 步骤3中； 对VGG16卷积神经网络的最后一个卷积层平均池化操作处 理的方法为： x＝layers.Gl obalAvera gePooling2D()(x)； 对ResultNet5 0卷积神经网络的最后一个卷积层平均池化操作处 理的方法为： y＝layers.Gl obalAvera gePooling2D()(y)； 对Inception‑V4卷积神经网络的最后一个卷积层平均池化操作处 理的方法为： z＝layers.Gl obalAvera gePooling2D()(z)； 其中， x表示VGG16卷积神经网络的最后一个卷积完成后的特征向量， y表示对 ResultNet50卷积神经网络的最后一个完成后的特征向量， z表示对Inception ‑V4卷积神经 网络的最后一个完成后的特 征向量。 3.根据权利要求2所述的一种基于深度学习的儿童多动症行为特征识别算法， 其特征 在于， 所述步骤4中， VGG16、 ResultNet50和Inception ‑V4卷积神经网络的拼接的组合特征 为： X＝cncatenate(x,y,z)， 并使用全连接fc层， 通过降维因子r＝16 压缩得到T＝Ffc(X)。 4.根据权利要求3所述的一种基于深度学习的儿童多动症行为特征识别算法， 其特征 在于， 所述步骤5中， 压缩得到的特征T执行softmax操作计算， 得出VGG16、 ResultNet50和 Inception ‑V4卷积神经网络的注意力权重W1、 W2和W3； 其中， W1＝Softmax(Ffc1(T))， W2＝ Softmax(Ffc2(T))， W3＝Softmax(Ffc3(T))， 其中， Ffc1， Ffc2， Ffc3分别代表三个全连接层。 5.根据权利要求1所述的一种基于深度学习的儿童多动症行为特征识别算法， 其特征 在于， 所述 步骤1中， 预处 理的步骤 包括数据集的预处 理和数据集的增强。 6.根据权利要求5所述的一种基于深度学习的儿童多动症行为特征识别算法， 其特征 在于， 数据集的预处 理包括以下步骤： 将获取的儿童行为视频进行分段处 理， 并删除无效视频片段； 对得到的有效监控视频提取关键帧。 7.根据权利要求5所述的一种基于深度学习的儿童多动症行为特征识别算法， 其特征 在于， 所述数据集的增强包括以下步骤： 选取数据集中四分之一的图片做 平移处理； 再选取选取 数据集中四分之一的图片做旋转处 理； 再选取选取 数据集中四分之一的图片做亮度调节处 理； 最后选取 数据集中剩下四分之一的图片做对比度调节处 理。权　利　要　求　书 1/1 页 2 CN 114565975 A 2一种基于深度学习的儿童多动症行为特征识别算法 技术领域 [0001]本发明属于特征识别算法技术领域， 特别是涉及 一种基于深度学习的儿童多动症 行为特征识别算法。 背景技术 [0002]儿童多动症(简称多动症)， 又称注意缺陷多动障碍(ADHD)。 是一种 常见的儿童行 为异常问题。 这类患儿的智力正常或接近正常， 但学习行为及情绪方面有缺陷， 主要表现为 与年龄和发育水平 不相称的注 意力不易集中， 注 意广度缩小， 注意时间短暂， 不分场合的活 动过多、 情绪易冲动等， 并常伴有认知障碍和学习困难。 该症于学前起病， 呈慢 性过程。 该症 不仅影响儿童的学校、 家庭和校外生活， 而且容易导致儿童持久的学习困难、 行为问题和自 尊心低， 此类患儿在家庭及学校均难与人相处。 如不能得到及时治疗， 部 分患儿成年后仍有 症状， 明显影响患者学业、 身心 健康以及成年后的家庭生活和社交 能力。 国内外调查 发现该 症患病率3％ ‑10％， 男女比为 4‑9:1， 早产儿童患此病较多。 [0003]本发明所提供的一种基于深度学习的儿童多动 症行为特征识别算法， 通过已知的 儿童多动症视频， 并利用多种神经网络识别的识别结果， 对结果进 行融合分类， 能够 有效的 提高识别的精确度， 辅助医疗工作者完成儿童多动症的初步诊断。 发明内容 [0004]本发明的目的在于提供一种基于深度学习的儿童多动症行为特征识别算法， 解决 了上述技术背景中的问题。 [0005]为解决上述 技术问题， 本发明是通过以下技 术方案实现的： [0006]本发明为 一种基于深度学习的儿童多动症行为特 征识别算法， 包括以下步骤： [0007]步骤1： 在待识别儿童动作的持续时间内， 对动作图像数据集的获取并进行预处 理； [0008]步骤2： 将步骤1中的获取的数据集分别输入VGG16、 ResultNet50和Inception ‑V4 卷积神经网络进行分类识别； [0009]步骤3： 通过全局平均池化操作处理VGG16、 Result Net50和Inception ‑V4三个卷积 神经网络的最后一层卷积特 征； [0010]步骤4： 通过特征拼接计算VGG16、 Result Net50和Incept ion‑V4卷积神经网络的注 意力融合权 重； [0011]步骤5： 通过内积 操作将注意力融合权 重和三个所述模型的特 征值进行融合。 [0012]进一步地， 所述步骤3中； [0013]对VGG16卷积神经网络的最后一个卷积层平均池化操作处 理的方法为： [0014]x＝layers.Gl obalAvera gePooling2D()(x)； [0015]对ResultNet5 0卷积神经网络的最后一个卷积层平均池化操作处 理的方法为： [0016]y＝layers.Gl obalAvera gePooling2D()(y)；说　明　书 1/4 页 3 CN 114565975 A 3