(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210916349.4 (22)申请日 2022.08.01 (71)申请人 合众新能源 汽车有限公司 地址 314500 浙江省嘉兴 市桐乡市梧桐街 道同仁路98 8号 (72)发明人 冉成荣　霍百林　廖国栋　张祺　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 苏培华 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/16(2022.01) G06V 40/18(2022.01) G06T 7/80(2017.01) G06T 7/73(2017.01)G06T 7/62(2017.01) (54)发明名称 驾驶员视线的检测方法、 装置、 电子设备和 存储介质 (57)摘要 本发明实施例提供了一种驾驶员视线的检 测方法和装置， 其中， 所述方法包括： 获取驾驶员 的人脸相对于第一相机的第一相机姿态， 以及多 个目标区域相对于第二相机的各个第二相机姿 态； 根据所述第一相机姿态生 成所述驾驶员的视 线直线； 根据各个所述第二相机姿态、 所述第一 相机的外参和所述第二相机的外参确定每个所 述目标区域的空间平面； 针对每个所述目标区 域， 若所述视线直线与所述空间平 面的交点位于 各个顶点围成的四边形内， 则确定所述驾驶员的 视线经过所述目标区域。 本发明实施例避免了标 定车身与DMS相机之间的坐标和位姿， 不需要设 计标定系统， 简化了驾驶员的视线检测步骤， 降 低了驾驶员的视线检测难度。 权利要求书2页 说明书9页 附图4页 CN 115376112 A 2022.11.22 CN 115376112 A 1.一种驾驶员视线的检测方法， 其特 征在于， 所述方法包括： 获取驾驶员的人脸相对于第 一相机的第 一相机姿态， 以及多个目标区域相对于第 二相 机的各个第二相机姿态； 根据所述第一相机姿态生成所述驾驶员的视线直线； 根据各个所述第 二相机姿态、 所述第 一相机的外参和所述第 二相机的外参确定每个所 述目标区域的空间平面； 针对每个所述目标区域， 若所述视线直线与所述空间平面的交点位于各个顶点围成的 四边形内， 则确定所述驾驶员的视线经 过所述目标区域。 2.根据权利要求1所述的方法， 其特征在于， 所述获取驾驶员的人脸相对于第 一相机的 第一相机姿态， 包括： 获取所述驾驶员的2D人脸特 征点数据和所述驾驶员的3D人脸模型的坐标 数据； 基于PNP算法， 根据所述2D人脸特征点数据、 所述3D人脸模型的坐标数据和所述第一相 机的内参确定所述第一相机姿态。 3.根据权利要求1所述的方法， 其特征在于， 所述获取多个目标区域相对于第 二相机的 各个第二相机姿态， 包括： 基于PNP算法， 根据每个所述目标区域的标定数据和所述第二相机的内参确定各个所 述第二相机姿态。 4.根据权利要求1所述的方法， 其特征在于， 所述根据各个所述第二相机姿态、 所述第 一相机的外参和所述第二相机的外参确定每 个所述目标区域的空间平面， 包括： 根据各个所述第 二相机姿态、 所述第 一相机的外参和所述第 二相机的外参将每个所述 目标区域的各个顶点 转换到所述第一相机的坐标系下； 根据每个所述目标区域的各个顶点在所述第 一相机的坐标系下的坐标数据， 拟合得到 每个所述目标区域的空间平面。 5.根据权利要求4所述的方法， 其特征在于， 所述根据每个所述目标区域的各个顶点在 所述第一相机的坐标系下的坐标 数据， 拟合得到每 个所述目标区域的空间平面， 包括： 基于非线性最小二乘法或奇异值分解算法， 根据每个所述目标区域的各个顶点在所述 第一相机的坐标系下的坐标 数据， 拟合得到每 个所述目标区域的空间平面。 6.根据权利要求1所述的方法， 其特征在于， 所述针对每个所述目标区域， 若所述视线 直线与所述空间平面的交点位于各个顶点围成的四边形内， 则确定所述驾驶员的视线 经过 所述目标区域， 包括： 针对每个所述目标区域， 计算所述 四边形的面积以及所述交点分别与 各个所述顶点围 成的各个三角形的面积之和； 若所述四边形的面积与所述面积之和的比值小于或等于预设阈值， 则确定所述驾驶员 的视线经 过所述目标区域。 7.根据权利要求1所述的方法， 其特征在于， 所述第一相机为驾驶员监测系统相机， 所 述第二相机为过渡区相机， 所述目标区域包 含识别区域和分心区域。 8.一种驾驶员视线的检测装置， 其特 征在于， 所述装置包括： 相机姿态获取模块， 用于获取驾驶员的人脸相对于第一相机的第一相机姿态， 以及多 个目标区域相对于第二相机的各个第二相机姿态；权　利　要　求　书 1/2 页 2 CN 115376112 A 2直线方程 生成模块， 用于根据所述第一相机姿态生成所述驾驶员的视线直线； 平面方程确定模块， 用于根据各个所述第二相机姿态、 所述第一相机的外参和所述第 二相机的外参确定每 个所述目标区域的空间平面； 视线检测模块， 用于针对每个所述目标区域， 若所述视线直线与所述空间平面的交点 位于各个顶点围成的四边形内， 则确定所述驾驶员的视线经 过所述目标区域。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在处理器上运行的 计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至7中任意一 项所述的驾驶员视线的检测方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现权利要求1至7中任意 一项所述的驾驶员视线的检测方法。权　利　要　求　书 2/2 页 3 CN 115376112 A 3