(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111436975.5 (22)申请日 2021.11.29 (71)申请人 北京茵沃汽车 科技有限公司 地址 100191 北京市海淀区西小口路6 6号7 幢二层21 1B室 (72)发明人 刘春霞　路二伟　杨波　张会朋　 侯欢欢　 (74)专利代理 机构 苏州国诚专利代理有限公司 32293 代理人 陈松 (51)Int.Cl. G06V 40/18(2022.01) G06N 5/04(2006.01) G06F 30/27(2020.01) (54)发明名称 一种用于辅助驾驶的视线检测方法、 装置及 存储介质 (57)摘要 本发明提供了一种用于辅助驾驶的视线检 测方法、 装置及存储介质， 其可 以获取可靠的视 线数据， 计算操作方便， 提升了视线检测的准确 率， 计算复杂 度较低,其通过相机采集数据， 使得 被采集人员的视线跟随目标物体移动， 获得人眼 跟随目标物体移动的图像， 计算视线方向数据； 构建包括眼球模型推理模块和视线回归模块的 视线检测模 型， 将图像输入眼球模 型推理模块输 出眼球二值图， 将眼球二值图输入视线回归模 块， 输出推理的视线方向； 由采集的人眼随目标 物体移动的图像和视线方向数据构建视线数据 集， 通过视线数据集训练视线检测模型， 获得训 练好的视线检测模型； 将采集的待检测的人眼图 像输入训练好的视线检测模型， 输出待检测的人 眼的视线方向。 权利要求书3页 说明书8页 附图3页 CN 114067422 A 2022.02.18 CN 114067422 A 1.一种用于辅助驾驶的视线检测方法， 其特征在于， 包括以下步骤： 通过相机采集数 据， 使得被采集人员的视线跟随 目标物体移动， 获得 人眼跟随 目标物体移动的图像； 根据获得的人眼跟随 目标物体移动的图像， 计算视线方向数据； 构建视线检测模型， 所述视线检测模型包括眼球模型推理模块和视线回归模块， 将图 像输入眼球模型推理模块， 输出眼球二值图， 所述眼球二值图包括眼球轮廓和瞳孔轮廓， 将 眼球二值图输入视线回归 模块， 输出推理的视线方向； 由采集的人眼随目标物体移动的图像和计算得到的视线方向数据构建视线数据集， 通 过视线数据集训练所述视线检测模型， 直至模型收敛， 获得训练好的视线检测模型； 将采集的待检测的人眼的图像输入训练好的视线检测模型， 输出待检测的人眼的视线 方向。 2.根据权利要求1所述的一种用于辅助驾驶的视线检测方法， 其特征在于， 所述的通过 相机采集数据， 包括： 将红外相机和深度相机放置在同一水平面内， 在被采集人员面前摆放 目标物体， 移动目标物体， 被采集人员通过人眼观察 目标物体， 视线跟随目标物体移动， 通 过红外相机和深度相机同步采集图像， 使得目标物体移动的轨 迹铺满图像的整个区域。 3.根据权利要求2所述的一种用于辅助驾驶的视线检测方法， 其特征在于， 所述的被采 集人员通过人眼观察目标物体， 包括： 被采集人员的头部姿势， 维持面部朝 向一个方向不 变， 移动目标物体， 被采集人员通过人眼观察目标物体， 视线跟随目标物体移动， 通过红外 相机和深度相机采集图像， 使得目标物体移动的轨 迹铺满图像的整个区域。 4.根据权利要求2所述的一种用于辅助驾驶的视线检测方法， 其特征在于， 所述的被采 集人员通过人眼观 察目标物体， 包括： 被采集人员的视线跟随目标物体移动， 被采集人员的 头部与视线的方向一致， 随目标物体一起移动， 通过 红外相机和深度相机采集图像， 使得目 标物体移动的轨 迹铺满图像的整个区域。 5.根据权利要求3或4所述的一种用于辅助驾驶的视线检测方法， 其特征在于， 通过红 外相机和深度相机采集图像中， 至少 包括左上方、 上方、 右上方、 左 方、 前方、 右方、 左 下方、 下方和右下 方的面部朝向的图像。 6.根据权利要求1所述的一种用于辅助驾驶的视线检测方法， 其特征在于， 所述的根据 获得的人眼随目标物体移动的图像， 计算视线方向数据， 包括： 获取人眼的瞳孔中心在深度 相机坐标系 下的坐标， 通过深度相 机和红外相 机的坐标系转换关系， 得到瞳孔中心在红外 相机坐标系 下的坐标， 获取目标物体在深度相 机坐标系 下的坐标， 通过深度相 机和红外相 机的坐标系转换关系， 得到目标物体在红外相 机坐标系 下的坐标， 将瞳孔中心坐标减去目 标物体坐标， 获视线向量， 用于表示视线方向。 7.根据权利要求1所述的一种用于辅助驾驶的视线检测方法， 其特征在于： 所述目标物 体采用球形物体。 8.根据权利要求6所述的一种用于辅助驾驶的视线检测方法， 其特征在于， 所述的获取 人眼的瞳孔中心在深度相 机坐标系 下的坐标， 包括： 通过深度相 机的拍摄获得瞳孔的深度 信息Zc， 通过图像标注， 获得瞳孔中心在图像坐标系的坐标(u， v)， 根据图像坐标与深度相 机坐标的转换公式：权　利　要　求　书 1/3 页 2 CN 114067422 A 2其中， 的深度相机的内参矩阵， 获得瞳孔 中心在深度相机坐标系下的坐标 (Xc， Yc， Zc)。 9.根据权利要求6所述的一种用于辅助驾驶的视线检测方法， 其特征在于， 所述的深度 相机和红外相 机的坐标系转换关系， 通过如下步骤得到： 对红外相 机和深度相 机进行双目 标定， 得到平移矩阵T和旋转矩阵R， 同一个坐标点在深度相 机坐标系 下和红外相机坐标系 下的转换关系， 表示为P1＝R*P2+T， 其中， P1是红外相机 坐标系下的坐 标点， P2是深度相机坐 标系下的坐标点。 10.根据权利要求6所述的一种用于辅助驾驶的视线检测方法， 其特征在于： 所述眼球 模型推理模块包括直方图均衡化层和ResNet网络层以及一个1*1卷积过滤器， 所述直方图 均衡化层用于增加输入的图像的对比度， 所述ResNet网络层包括三个ResNet网络， 用于提 取人眼特征， 所述1*1卷积过 滤器用于将提取的特 征转换为眼球二 值图； 所述视线回归模块包括DenseNet网络层和全连接层， 所述DenseNet网络层包括三个残 差模块， 所述视线回归模块通过输入的眼球二值图， 得到眼球中心和瞳孔中心的连接线， 作 为视线方向输出。 11.根据权利要求1所述的一种用于辅助驾驶的视线检测方法， 其特征在于： 所述的通 过视线数据集训练所述视线检测模型， 包括： 将视线数据集中的图像作为样本， 将视线数据作为标签， 输入视线检测模型的眼球模 型推理模块， 输出推理的眼球二 值图， 优化损失函数， 表示 为如下： 其中， 是常数， p表示每个像素 的坐标， P表示整个图像的像素坐标， 表示眼球模 型预测出来的眼球二 值图， m(p)表示图像的眼球二 值图； 将推理的眼球二值图输入视线检测模型的视线回归模块， 输出推理的视线方向， 将推 理的视线方向与真实的视线方向进行比较， 优化损失函数， 表示 为如下： 其中， w和 ε是常数， glabel是估计的视线方向， g是视线检 测模型推理的视线方向， l n()是对数。 12.一种用于辅助驾驶的视线检测方法的装置， 其特征在于， 其包括： 包括处理器、 存储 器以及程序； 所述程序存储在所述存储器 中， 所述处理器调用存储器存储的程序， 以执行权利要求1 至权利要求1 1任意项所述的用于 辅助驾驶的视线检测方法。权　利　要　求　书 2/3 页 3 CN 114067422 A 3