(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111665628.X (22)申请日 2021.12.31 (71)申请人 西安航空学院 地址 710000 陕西省西安市西二环 259号 (72)发明人 余曼　吴玲　燕姣　 (74)专利代理 机构 北京盛凡佳华专利代理事务 所(普通合伙) 11947 代理人 安学慧 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/18(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于YOLO神经网络的驾驶员疲劳检测 方法 (57)摘要 本发明涉及计算机视觉技术领域， 特别涉及 一种基于YOL O神经网络的驾驶员疲劳检测方法， 包括如下步骤： 制作眨眼图片训练数据集； 将所 述数据集中的眨眼图片使用roboflow对图片进 行标注； 基于所述数据集， 利用YOLOv5算法建立 训练模型； 将标注后的眨眼图片输入到训练模型 中对模型进行训练； 在训练模型成熟之后， 基于 所述训练模 型建立判别模型； 将判别模型接入驾 驶室的监控摄像头进行实时监测和预警。 对于驾 驶员疲劳的识别效果较好， 有效地减少事故发 生。 权利要求书2页 说明书4页 附图1页 CN 114359879 A 2022.04.15 CN 114359879 A 1.一种基于 YOLO神经网络的驾驶员疲劳检测方法， 其特 征在于， 包括如下步骤： 制作眨眼 图片训练数据集； 将所述数据集中的眨眼 图片使用robofl ow对图片进行 标注； 基于所述数据集， 利用YOLOv5算法建立训练模型； 将标注后的眨眼 图片输入到训练模型中对 模型进行训练； 在训练模型成熟之后， 基于所述训练模型建立判别模型； 将判别模型接入驾驶室的监控摄 像头进行实时监测 和预警。 2.根据权利要求1所述的一种基于YOLO神经网络的驾驶员疲劳检测方法， 其特征在于， 其中， 所述数据集中包括训练集、 验证集和 测试集； 所述训练模型中包括YOLO神经网络 。 3.根据权利要求2所述的一种基于YOLO神经网络的驾驶员疲劳检测方法， 其特征在于， 从眨眼图片训练数据集中获取数量为N ×n的原始眨眼数据D EO， 其中N是样本个数， n是眨眼 频率等级分类数， 沿原始眨眼数据的时间维使用步长为h+δ 的滑窗， 获得L个大小为TE ×E的 眨眼数据DE， 其中， h表 示固定步长， δ表 示随机扰动， TE＝FE ×t， TE表示眨眼数据的帧数， FE 表示眼动仪的采样率， t 表示采集的时间， E表示眨眼数据的维度大小； 从眨眼图片训练数据集中获取数量为N ×n的原始眨眼数据DIO， 根据获取的眨眼数据 DE的时间戳， 提取对应的L个大小为TI ×I的眨眼数据DI， 其中， TI＝FI ×t， TI表示眨眼数据 的帧数， FI表示每秒传输帧数 FPS， t表示采集的时间， I表示眨眼数据的维度大小； 从眨眼图片训练数据集中获取数量为N ×n的原始深度数据DPO， 根据中获取的眨眼数 据DI， 提取对应的L个大小为TI ×P的深度数据D P， 其中P表示深度数据的维度大小； 从眨眼图片训练数据集中获取与眨眼数据DE对应的眨眼频率 等级标签； 从眨眼数据DE， 眨眼数据DI和深度数据DP中分别获取3L/5组的训练眨眼数据DEtrain， 训练眨眼数据DItrain和训练深度数据DPtrain， 将该训练眨眼数据DEtrain， 训练眨眼数据 DItrain和训练深度数据DPtrain组成训练集， 并将该训练集与对应的眨眼频率等级 标签组 成训练样； 从眨眼数据DE， 眨眼数据DI和深度数据DP中分别获取1L/5组的验证眨眼数据DEval， 验 证眨眼数据DIval和验证深度数据DPval， 将该验证眨眼数据DEval， 验证眨眼数据DIval和 验证深度数据D Pval组成验证集， 并将验证集与对应的眨眼频率 等级标签组成验证样本集； 从眨眼数据DE， 眨眼数据DI和深度数据DP中分别 获取1L/5组的测试眨眼数据DEtest， 测试眨眼数据DItest和测试深度数据DPtest， 将该测试眨眼数据DEtest， 测试眨眼数据 DItest和 测试深度数据D Ptest组成测试集。 4.根据权利要求3所述的一种基于YOLO神经网络的驾驶员疲劳检测方法， 其特征在于， 所述训练集、 验证集和 测试集中的图片数量比为： 6:2:2。 5.根据权利要求4所述的一种基于YOLO神经网络的驾驶员疲劳检测方法， 其特征在于， 训练模型中包括训练算法， 该训练算法包括如下步骤： 首先将输入训练集中的眨眼 图片resize到4 48x448； 然后分隔后的眨眼 图片送入CN N网络； 最后处理网络预测结果得到检测的目标； 然后将验证集输入训练模型中进行验证目标准确性；权　利　要　求　书 1/2 页 2 CN 114359879 A 2最后用测试集中的图片进行测试。 6.根据权利要求5所述的一种基于YOLO神经网络的驾驶员疲劳检测方法， 其特征在于， 所述判别模型中包括： 初 级判断模块和确认判断模块； 其中， 初级判断模块用于初步判断驾 驶员的疲劳度， 之后， 转入确认判断模块进行最终确认。 7.根据权利要求1所述的一种基于YOLO神经网络的驾驶员疲劳检测方法， 其特征在于， 还包括检测系统， 所述检测系统与判别模型 连接， 所述检测系统连接有报警系统。权　利　要　求　书 2/2 页 3 CN 114359879 A 3