(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210533032.2 (22)申请日 2022.05.11 (71)申请人 北京宾理信息科技有限公司 地址 100020 北京市朝阳区工 体东路18号2 号楼二层B2180 (72)发明人 魏沛伦　布如国　 (74)专利代理 机构 北京市汉坤律师事务所 11602 专利代理师 魏小薇　吴丽丽 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) (54)发明名称 用于确定车辆用户的视线方向的方法、 装 置、 计算机设备、 车辆和介质 (57)摘要 提供了一种用 于确定车辆用户的视线方向 的方法， 包括： 获取由布置在车辆处的摄像系统 中的第一摄像装置采集的第一图像， 其中， 所述 第一图像包括所述车辆用户的人脸； 通过对所述 第一图像进行人脸检测， 确定所述车辆用户的 眼 球在所述第一摄像装置的第一相机坐标系中的 位姿； 基于所述眼球在所述第一相机坐标系中的 位姿以及基于所述第一摄像装置在所述车辆的 车辆坐标系中的位姿， 确定所述眼球在所述车辆 坐标系中的位姿； 基于所述眼球在所述车辆坐标 系中的位姿， 确定所述车辆用户的视线方向。 权利要求书2页 说明书9页 附图5页 CN 114913155 A 2022.08.16 CN 114913155 A 1.一种用于确定车辆用户的视线方向的方法， 包括： 获取由布置在车辆处的摄像系统中的第一摄像装置采集的第一图像， 其中， 所述第一 图像包括所述车辆用户的人脸； 通过对所述第 一图像进行人脸检测， 确定所述车辆用户的眼球在所述第 一摄像装置的 第一相机坐标系中的位姿； 基于所述眼球在所述第一相机坐标系 中的位姿以及基于所述第一摄像装置在所述车 辆的车辆坐标系中的位姿， 确定所述眼球在所述车辆坐标系中的位姿； 基于所述眼球在所述车辆坐标系中的位姿， 确定所述车辆用户的视线方向。 2.根据权利要求1所述的方法， 其中， 所述确定所述车辆用户的眼球在所述第 一摄像装 置的第一相机坐标系中的位姿包括： 获取通过对所述第一图像进行人脸检测而得到的所述人脸的至少四个关键点的第一 标识， 其中， 所述至少四个关键点 不在同一平面中； 基于预设的映射策略， 将所述第 一标识映射成所述人脸在所述第 一相机坐标系中的位 姿； 通过对所述第 一图像进行眼球角度检测， 确定所述眼球在所述车辆用户的人脸坐标系 中的位姿； 基于所述人脸在所述第一相机坐标系 中的位姿以及基于所述眼球在所述人脸坐标系 中的位姿， 确定所述眼球在所述第一相机坐标系中的位姿。 3.根据权利要求2所述的方法， 其中， 所述摄像系统包括作为所述第 一摄像装置的单目 相机， 所述映射策略包括通过对默认人脸预先建立关键点的3D模型而得到的标识映射模 型。 4.根据权利要求2所述的方法， 其中， 所述摄像系统包括多个第一摄像装置， 所述映射 策略包括基于所述多个第一摄 像装置之间的相对位姿 而确定的标识映射模型。 5.根据权利要求2所述的方法， 其中， 所述摄像系统还包括第二摄像装置， 并且所述将 所述第一标识映射成所述人脸在所述第一相机坐标系中的位姿包括： 获取由所述第二摄像装置采集的第二图像， 其中， 所述第二图像包括所述车辆用户的 人脸； 获取通过对所述第二图像进行人脸检测而得到的所述人脸的所述至少四个关键点的 第二标识， 其中， 所述第二标识与所述第一标识分别与位于所述人脸中的相同位置处的所 述关键点相对应； 基于所述第一标识与所述关键点的对应关系以及基于所述第二标识与所述关键点的 对应关系， 确定所述第一标识与所述第二标识的对应关系； 基于所述第一标识与所述第二标识的对应关系以及基于所述第一摄像装置与所述第 二摄像装置之 间的相对位姿， 将所述第一标识映射成所述人脸在所述第一相机坐标系中的 位姿。 6.根据权利要求5所述的方法， 其中， 所述第 一摄像装置与所述第 二摄像装置分别布置 在所述车辆内部的不同位置， 并且被配置为在相同的采样时刻分别采集所述第一图像和 第 二图像。 7.根据权利要求1至6中任一项所述的方法， 其中， 所述摄像系统包括以下各项中的至权　利　要　求　书 1/2 页 2 CN 114913155 A 2少一个： RGB摄 像装置和红外摄 像装置。 8.根据权利要求5所述的方法， 还 包括： 确定当前时间和/或环境亮度； 根据所述当前时间和/或所述环境亮度， 从所述摄像系统中选择相应的摄像装置作为 所述第一摄 像装置和/或所述第二摄 像装置。 9.根据权利要求8所述的方法， 其中， 根据所述当前时间， 选择相应的摄像装置作为所 述第一摄 像装置和/或所述第二摄 像装置包括： 响应于确定当前时间属于白天时间段， 选择RGB摄像装置作为所述第一摄像装置和/或 所述第二摄 像装置； 响应于确定当前时间属于夜晚时间段， 选择红外摄像装置作为所述第一摄像装置和/ 或所述第二摄 像装置。 10.一种用于确定车辆用户的视线方向的装置， 包括： 第一单元， 用于获取由布置在车辆处的摄像系统中的第一摄像装置采集的第一图像， 其中， 所述第一图像包括所述车辆用户的人脸； 第二单元， 用于通过对所述第一图像进行人脸检测， 确定所述车辆用户的眼球在所述 第一摄像装置的第一相机坐标系中的位姿； 第三单元， 用于基于所述眼球在所述第 一相机坐标系中的位姿以及基于所述第 一摄像 装置在所述车辆的车辆坐标系中的位姿， 确定所述眼球在所述车辆坐标系中的位姿； 第四单元， 用于基于所述眼球在所述车辆坐标系中的位姿， 确定所述车辆用户的视线 方向。权　利　要　求　书 2/2 页 3 CN 114913155 A 3