(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210017624.9 (22)申请日 2022.01.07 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 李孟棠　邱全龙　丁北辰　 (74)专利代理 机构 重庆信必达知识产权代理有 限公司 5 0286 代理人 刘会锋 (51)Int.Cl. G06F 3/01(2006.01) G06V 40/10(2022.01) G06V 40/18(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/766(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06T 7/80(2017.01) G06N 3/04(2006.01) G06K 9/62(2022.01) F41G 1/46(2006.01) (54)发明名称 一种战斗机头盔显示瞄准系统、 方法、 设备 及终端 (57)摘要 本发明属于战斗机视线瞄准技术领域， 公开 了一种战斗机头盔显示瞄准系统、 方法、 设备及 终端， 包括： 获取飞行员眼部图像； 测量飞行员头 部姿态； 提取眼部图像特征点信息； 将眼部特征 点信息回归到眼动角度； 头部姿态与三维视线角 度的空间结合。 本发明加入基于眼动追踪技术对 飞行员眼睛朝向进行测算， 并结合头部姿态作为 的飞行员的注 意力或兴趣目标方向， 以此实现目 标选择、 武器选择及瞄准等功能， 解决了战斗机 飞行员因佩戴头盔和面罩等装备后造成的视线 跟踪范围不全以及遮挡和干扰问题， 通过眼动追 踪的便捷性和独立性， 实现在大范围头部自由运 动下高精度的瞄准效果， 并简化标定过程， 实现 “即拿即用 ”。 权利要求书2页 说明书8页 附图3页 CN 114415832 A 2022.04.29 CN 114415832 A 1.一种战斗机头盔显示瞄准方法， 其特征在于， 所述战斗机头盔显示瞄准方法包括以 下步骤： 步骤一， 获取飞行员眼部图像； 步骤二， 测量飞行员头 部姿态； 步骤三， 将步骤一中的眼部图像输入到堆叠 沙漏状卷积神经网络提取 特征； 步骤四， 步骤三中的眼部特 征输入支持向量回归 模型预测注视方向； 步骤五， 进行头 部姿态与三维视线角度的空间结合。 2.如权利要求1所述的战斗机头盔显示 瞄准方法， 其特征在于， 所述步骤一中的获取飞 行员眼部图像包括： 在近眼情况下使用广角摄像头实时获取脸部图像， 通过人脸识别算法 获取脸部特 征点， 进而切割出眼部图像。 3.如权利要求1所述的战斗机头盔显示 瞄准方法， 其特征在于， 所述步骤二中的测量飞 行员头部姿态包括： 头部姿态测量系统可使用惯性传感器、 光学传感器或者混合传感器方 法精确测量头盔的位置与朝向。 4.如权利要求1所述的战斗机头盔显示 瞄准方法， 其特征在于， 所述步骤三中的将步骤 一中的眼部图像输入到堆叠沙漏状卷积神经网络提取特征包括： 堆叠沙漏状卷积神经网络 由合成的眼部图像训练， 将真实的飞行员眼部图像输入到卷积神经网络的第一个卷积层、 BN层和激活层， 再将结果输入到由三个沙漏模块堆叠而成的网络， 再将结果输入到soft ‑ argmax层计算特征点坐标； 所述合 成眼部图像提供包括眼睑 ‑巩膜边界、 角膜 边缘区域 或虹 膜‑巩膜边界以及眼角在内的坐标标签； 所述卷积神经网络结构中的第一个卷积层 采用7× 7的卷积核， 步长为1， 卷积层提取出的特征大小为((W ‑F)/S)+1， 其中W是输入图像的大小， F 是卷积核的大小， S是步长； BN层对于每个神经元做归一化处理， 使特征分布为均值为0， 方 差为1； 激活层使用ReLU激活函数； 所述沙漏模块为四阶沙漏模块， 由一阶沙漏模块扩展而 成。 所述一阶沙漏模块由四个残差模块， 以及升维和降维模块组成； 所述残差模块对输入进 行两路操作， 第一路先通过有1 ×1、 3×3、 1×1卷积核尺度的卷积层串联， 间插有BN层和 ReLU层； 第二路为跳级路， 只包含一个卷积核尺度为 1×1的卷积层， 两 路所有卷积核步长为 1， 越界时， 以1填充， 最终两路合并， 进行特征融合； 所述一阶沙漏模块对输入进行两路操 作， 第一路线通过最大池化降维， 再通过三个残差模块， 再通过二分线性插值升维； 第二路 只通过一个残差模块， 最 终两路合并， 进 行特征融合； 所述四 阶沙漏模块由所述一阶沙漏模 块递归替换一阶沙漏模块中间的卷积核尺度为3 ×3的卷积层， 共替换四次， 形成四阶沙漏 模块； 四阶沙漏模块的最终输出输入到soft ‑argmax层， 找到亚像素 特征点坐标。 5.如权利要求1所述的战斗机头盔显示 瞄准方法， 其特征在于， 所述步骤四中的眼部特 征输入支持向量回归模型预测注视方向包括： 利用眼睛宽度对所有检测到的标志点坐标进 行归一化， 并将坐标系统以内眼角为坐标原点居中； 通过虹膜中心坐标减去眼球中心坐标 获得二维凝视先验； 最终特征向量由特征提取器提取的n个归一化坐标和一个2D注视方向 先验组成； 其中， 所述归一化坐标包括来自眼帘边缘、 虹膜边缘和虹膜中心； 将2(n+1)个特 征输入到SVR中， 直接估计三维注视方向的俯仰角和偏航角； 所述SVR模型为： f(x)＝wx+b SVR模型的优化目标为：权　利　要　求　书 1/2 页 2 CN 114415832 A 2s.t.yi‑wTxi‑b≤∈ w,b为待学习参数， yi,xi为训练样本， 共有n个， ∈为拟合精度控制参数。 6.如权利要求1所述的战斗机头盔显示 瞄准方法， 其特征在于， 所述步骤五中的头部姿 态与三维视线角度的空间结合包括： 头部姿态 由头动姿态传感器测得， 唯一 确定一个方向的单位向量 根据视线估计得到的视线角度 转化为空间旋转矩阵： 由于眼动角度是相对于头盔上的相机而言的， 而相机固定在头上， 眼动角度可视为是 头部姿态的额外转动； 因此， 最 终的注视单位向量表示为： 表示 为角度： 为最终的工作目标 方向。 7.一种实施权利要求1～5任意一项所述的战斗机头盔显示瞄准方法的战斗机头盔显 示瞄准系统， 其特 征在于， 所述战斗 机头盔显示瞄准系统包括： 信息采集模块， 用于飞行员的信息采集， 配置用于获取飞行员在座舱坐标系下的头部 姿态以及佩戴头盔时获取飞行员人脸图像信息； 特征提取模块， 用于进行眼部特征点检测， 配置用于处理人脸图像信息， 包括人脸识 别， 人脸特征点检测， 人眼分割和人眼图像预 处理， 将获取的人眼图像送入到卷积神经网络 获取人眼特征点信息； 相机标定模块， 用于相机标定， 配置用于获取相机的内参数和外参数， 进行反畸变处 理； 眼动跟踪模块， 用于进行视线估计， 配置用于从眼部特 征点提取出眼动角度信息； 空间结合模块， 用于进行头部姿态与三维视线角度的空间结合， 配置用于将位于座舱 坐标系下的头部姿态和相机坐标系下的眼动角度的进 行空间结合， 得到位于座舱坐标系下 的最终视线方向。 8.一种计算机设备， 其特征在于， 所述计算机设备包括存储器和处理器， 所述存储器存 储有计算机程序， 所述计算机程序被所述处理器执行时， 使得所述处理器执行权利要求 1～ 5任意一项所述的战斗 机头盔显示瞄准方法。 9.一种信 息数据处理终端， 其特征在于， 所述信 息数据处理终端用于实现如权利要求6 所述的战斗 机头盔显示瞄准系统。权　利　要　求　书 2/2 页 3 CN 114415832 A 3