(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111638230.7 (22)申请日 2021.12.3 0 (65)同一申请的已公布的文献号 申请公布号 CN 114005105 A (43)申请公布日 2022.02.01 (73)专利权人 青岛以萨数据技 术有限公司 地址 266000 山东省青岛市黄岛区灵岩路 77号办公3号楼3 02室 (72)发明人 苏照阳　石柱国　李凡平　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 代理人 张萍 (51)Int.Cl. G06V 20/59(2022.01) G06V 20/54(2022.01)G06V 40/10(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 111046826 A,2020.04.21 审查员 乔帅 (54)发明名称 驾驶行为检测方法、 装置以及电子设备 (57)摘要 本申请提供了一种驾驶行为检测方法、 装置 以及电子设备， 涉及安防监控技术领域， 缓解了 检测异常驾驶行为的精确度较低的技术问题。 该 方法包括： 获取主驾驶车窗图像； 其中， 所述主驾 驶车窗图像中包含驾驶员； 通过指定CPN卷积神 经网络对所述主驾驶车窗图像中所述驾驶员的 人体关键点进行提取， 得到人体关键点坐标； 基 于所述人体关键点坐标确定驾驶行为特征数据； 其中， 所述驾驶行为特征数据用于表征所述驾驶 员的驾驶行为； 根据所述驾驶行为特征数据通过 训练后的FD ‑KNN判别模型检测所述驾驶员是否 存在异常驾驶行为， 得到异常驾驶行为检测结 果。 权利要求书3页 说明书11页 附图3页 CN 114005105 B 2022.04.12 CN 114005105 B 1.一种驾驶行为检测方法， 其特 征在于， 所述方法包括： 获取主驾驶车窗图像； 其中， 所述主驾驶车窗图像中包 含驾驶员； 通过指定CPN卷积神经网络对所述主驾驶车窗图像 中所述驾驶员的人体关键点进行提 取， 得到人体关键点 坐标； 基于所述人体关键点坐标确定驾驶行为特征数据； 其中， 所述驾驶行为特征数据用于 表征所述驾驶员的驾驶行为； 根据所述驾驶行为特征数据通过训练后的FD ‑KNN判别模型检测所述驾驶员是否存在 异常驾驶行为， 得到异常驾驶行为检测结果； 所述获取主驾驶车窗图像的步骤， 包括： 获取交通 监控图像； 利用YOLOV5目标检测算法从所述交通 监控图像中获取主驾驶车窗图像； 所述交通监控图像为通过热感摄像头采集到的图像， 所述主驾驶车窗图像包含热成像 图像； 在所述通过指定CPN卷积神经网络对所述主驾驶车窗图像中所述驾驶员的人体关键 点进行提取， 得到人体关键点 坐标的步骤之后， 还 包括： 从所述人体关键点 坐标中确定所述驾驶员的人体头 部对应的第一人体关键点 坐标； 通过所述热成像图像确定所述第一人体关键点 坐标周围预设范围内的第一温度； 如果所述第 一温度大于预设温度， 和/或， 所述第 一温度和第二人体关键点坐标处 的第 二温度之 间的温度差大于预设温差， 则确定所述驾驶员存在异常驾驶行为； 其中， 所述第二 人体关键点坐标为所述驾驶员上除所述人体头部以外其它人体部位对应的人体关键点坐 标。 2.根据权利 要求1所述的方法， 其特征在于， 所述利用YOLOV5目标检测算法从所述交通 监控图像中获取主驾驶车窗图像的步骤， 包括： 对所述交通监控图像中的目标车辆进行跟踪， 并将跟踪到的所述目标车辆的图像转化 为灰度图像； 将所述灰度图像的尺寸缩放至指定尺寸， 并通过以下算法计算所述指定尺寸下的所述 灰度图像中每 个像素点的二阶导数： ；其 中， x和y为像素点 坐标， 为所述像素点 坐标对应的坐标 灰度图像素值； 计算所有所述像素点的所述二阶导数的方差， 如果所述方差大于预设阈值则确定为最 优帧的主驾驶车窗图像， 若所述方差未超过所述预设阈值则确定不为最优帧的主驾驶车窗 图像； 将所述最优帧的主驾驶车窗图像确认为待检测的主驾驶车窗图像。 3.根据权利要求1所述的方法， 其特征在于， 所述确定所述驾驶员存在异常驾驶行为的 步骤之后， 还 包括： 基于所述交通监控图像通过车牌号识别和/或人脸识别确定所述驾驶员的目标身份， 并从多个预设通讯方式 中确定所述目标身份对应的目标 预设通讯方式； 通过所述目标 预设通讯方式发出异常驾驶行为的语音提 示。 4.根据权利要求1所述的方法， 其特征在于， 在所述通过指定CPN卷积神经网络对所述权　利　要　求　书 1/3 页 2 CN 114005105 B 2主驾驶车窗图像中所述驾驶员的人体关键点进行提取， 得到人体关键点坐标 的步骤之前， 还包括： 对初始CPN卷积神经网络中加入卷积注意力机制模块， 得到所述指定CPN卷积神经网 络； 其中， 所述卷积注意力机制模块包含通道注意力子模块和 空间注意力子模块； 所述通 道注意力子模块用于通过池化操作学习每个通道的第一重要程度， 根据所述第一重要程度 对每个所述通道分配权重， 并通过全局的最大池化和平均池化进入全连接层进行学习； 所 述空间注意力子模块用于对通过所述通道注意力子模块加权的特征图谱中各个位置对于 需要估计点的第二重要程度进 行学习， 并将所述最大池化的结果和所述平均池化的结果按 照指定维度进行拼接， 基于拼接结果 通过卷积生成空间注意力机制。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述人体关键点坐标确定驾驶行 为特征数据的步骤， 包括： 对任意两个所述人体关键点 坐标之间的距离进行计算， 得到 至少一个关键点距离； 对所述驾驶员的人体肩部以及人体腕部对应的第三人体关键点坐标处对应的肩部弯 曲角度以及腕部弯曲角度进行计算， 得到关键点角度； 将所述关键点距离和所述关键点角度确定为用于表征驾驶行为的驾驶行为特 征数据。 6.根据权利要求1所述的方法， 其特征在于， 在所述根据 所述驾驶行为特征数据通过训 练后的FD ‑KNN判别模 型检测所述驾驶员是否存在异常驾驶行为， 得到异常驾驶行为检测结 果的步骤之前， 还 包括： 获取正常驾驶图像， 并将所述 正常驾驶图像作为 正样本； 利用所述正样本对初始FD ‑KNN判别模型进行训练， 得到所述训 练后的FD ‑KNN判别模 型； 其中， 所述训练后的FD ‑KNN判别模型中包含指定阈值， 用于在待检测样本与邻域样本 之间距离的平方和超过 所述指定阈值时确定所述待检测样本中存在异常驾驶行为。 7.一种驾驶行为检测装置， 其特 征在于， 包括： 获取单元， 用于获取主驾驶车窗图像； 其中， 所述主驾驶车窗图像中包 含驾驶员； 提取单元， 用于通过指定CPN卷积神经网络对所述主驾驶车窗图像中所述驾驶员的人 体关键点进行提取， 得到人体关键点 坐标； 确定单元， 用于基于所述人体关键点坐标确定驾驶行为特征数据； 其中， 所述驾驶行为 特征数据用于表征 所述驾驶员的驾驶行为； 检测单元， 用于根据所述驾驶行为特征数据通过训练后的FD ‑KNN判别模型检测所述驾 驶员是否存在异常驾驶行为， 得到异常驾驶行为检测结果； 所述获取 单元具体用于： 获取交通 监控图像； 利用YOLOV5目标检测算法从所述交通 监控图像中获取主驾驶车窗图像； 所述交通监控图像为通过热感摄像头采集到的图像， 所述主驾驶车窗图像包含热成像 图像； 该装置还 包括： 第二确定单元， 用于从所述人体关键点坐标中确定所述驾驶员的人体头部对应的第 一 人体关键点 坐标；权　利　要　求　书 2/3 页 3 CN 114005105 B 3