(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210137190.6 (22)申请日 2022.02.15 (71)申请人 上海理工大 学 地址 200093 上海市杨 浦区军工路516号 (72)发明人 季利鹏　吴世龙　孙志远　顾小清　 (74)专利代理 机构 南京泰普专利代理事务所 (普通合伙) 32360 专利代理师 姜露露 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G08B 21/06(2006.01) G08B 21/24(2006.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于智能视觉的识别疲劳状态的监测 方法 (57)摘要 本发明公开了一种基于智能视觉的识别疲 劳状态的监测方法， 属于数据存储分析、 计算机 视觉快速应用技术领域。 包 括如下步骤： 对 WIDER  FACE图像数据集进行预处理， 包括尺寸变换， 颜 色变换。 将图像数据进行标注生成XML文件， 图像 数据训练步骤， 特征提取网络替换为轻量化网络 Mobile‑V3， 引入特征融合模块， 注意力机制。 本 发明的基于智能视觉的识别疲劳状态的监测系 统基于深度学习和目标检测的基本算法， 可以有 效应对目标人脸尺寸不一， 光线问题， 对获取的 信息进行检测分类， 确定目标人脸是否处于疲劳 状态。 权利要求书2页 说明书7页 附图3页 CN 114550246 A 2022.05.27 CN 114550246 A 1.一种基于智能视 觉的识别疲劳状态的监测方法， 其特 征在于， 包括以下步骤： 基于现有开源的人脸图像大 数据， 建立至少一个人脸识别训练模型； 采集目标人脸的原始图像， 使用所述人脸识别训练模型对原始图像的图像特征进行强 化处理， 得到预处 理图像； 引入算法， 计算并分析预处理图像， 得到结果数据， 基于所述结果数据分析目标人脸的 状态。 2.根据权利要求1所述 一种基于智能视 觉的识别疲劳状态的监测方法， 其特 征在于， 所述目标人脸的原始图像采用多帧连续的采集方式， 基于所述采集方式连续得到不同 时间节点的结果数据； 预先设置判断阈值， 将所述结果数据与 所述判断阈值进行对比分析得到对应的状态类 别， 所述状态类别至少包括 疲劳状态、 清醒状态； 将所述状态类别作为目标 人脸的状态结果持续输出。 3.根据权利要求1所述一种基于智能视觉的识别疲劳状态的监测方法， 其特征在于， 所 述人脸识别训练模型至少包括随机扩展， 所述随机扩展的内容至少包括 光线、 尺寸、 颜色。 4.根据权利要求1所述一种基于智能视觉的识别疲劳状态的监测方法， 其特征在于， 所 述算法为基于S SD算法的改进算法， 所述改进算法具体改进内容包括： 引入快速检测型特征提取网络替换所述SSD算法中的VGG网络， 所述快速检测型特征提 取网络加速S SD算法前期计算预处 理图像， 得 出初始特 征图； 引入多尺度特征至所述SSD算法中， 所述多尺度特征融合初始特征图生成融合型特征 图； 引入注意力机制至所述SSD算法中， 所述注意力机制细化融合型特征图中的特征信息， 所述SSD算法后期基于特 征信息， 得 出所述结果数据。 5.根据权利要求4所述一种基于智能视觉的识别疲劳状态的监测方法， 其特征在于， 所 述快速检测型特征提取网络加入深度可分离卷积， 进一步减少计算量， 所述深度可分离卷 积为： H＝M×(DF×DF×1)×DO×DO+N×(1×1×M)×DO×DO 其中， 输入特征图的通道数为M， 卷积核数为N， 卷积核尺寸为DF ×DF， 输出特征图尺寸 为Do×Do。 6.根据权利要求1所述一种基于智能视觉的识别疲劳状态的监测方法， 其特征在于， 所 述初始特征图包括多个特征层， 被用来描述人脸图像的特征信息， 所述特征信息至少包括 目标和语义信息， 其中， 当所述初始特征图中的特征层从 高到低排列时， 所述特征层 对应的 目标的分辨 率逐步提高， 所述特 征层对应的语义信息的内容逐步减少， 细节信息逐渐增多。 7.根据权利要求6所述一种基于智能视觉的识别疲劳状态的监测方法， 其特征在于， 更 新所述初始特征图为融合型特征图的内容为， 将所述初始特征图中的低层特征层的分辨率 的特点融合至高层特征层， 使得所述融合型特征图的特征层包括高分辨率的特点和语义信 息的内容丰富的特点。 8.根据权利要求4所述一种基于智能视觉的识别疲劳状态的监测方法， 其特征在于， 细 化所述融合型 特征图中的特 征信息包括以下步骤： 使用所述注意力机制识别 融合型特征图， 细化所述融合型特征图的特征信息， 并执行权　利　要　求　书 1/2 页 2 CN 114550246 A 2多个末端指令； 使所述融合型特征图突出目标人脸的细节特征， 所述细化指令至少包括识别目标位 置、 判断目标类别。 9.根据权利要求2所述一种基于智能视觉的识别疲劳状态的监测方法， 其特征在于， 所 述判别阈值的取值基础为， 基于现有开源的人脸图像大数据， 构建疲劳状态阈值模型， 所述 疲劳状态阈值模型中至少包括疲劳状态特征值和清醒状态特征值， 所述判别阈值为疲劳状 态特征值和清醒状态特 征值的中间值。权　利　要　求　书 2/2 页 3 CN 114550246 A 3