(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211219772.5 (22)申请日 2022.10.08 (71)申请人 南昌虚拟现实研究院股份有限公司 地址 330038 江西省南昌市红谷滩新区会 展路545号红谷城投大厦1408室 (72)发明人 徐浩　沈忱　孙其民　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 何世磊 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/60(2017.01) G06T 7/136(2017.01) G06T 5/30(2006.01) G06T 5/00(2006.01) (54)发明名称 瞳孔位置标注方法及系统 (57)摘要 本发明公开了一种瞳孔位置标注方法及系 统， 本发明先对瞳孔进行粗定位， 然后经过剪裁、 阈值分割、 开运算、 找 轮廓、 轮廓合并、 凸包操作、 椭圆拟合等步骤， 得到初始椭圆参数信息， 最后 根据初始椭圆参数信息、 瞳孔粗定位坐标以及第 一中间图像的尺寸计算出目标椭圆参数信息， 实 现了瞳孔位置的自动标注， 标注效率高， 此外， 上 述处理过程不受光斑、 被睫毛遮挡、 光照、 被拍摄 对象变动等因素的影响， 鲁棒 性更高。 权利要求书3页 说明书8页 附图4页 CN 115294202 A 2022.11.04 CN 115294202 A 1.一种瞳孔 位置标注方法， 其特 征在于， 所述方法包括： 获取包含人眼的原 始图像； 对所述原 始图像中的瞳孔进行粗定位， 得到瞳孔 粗定位坐标； 以所述瞳孔粗定位坐标为中心剪裁出矩形的第 一中间图像， 所述第 一中间图像完全包 含瞳孔区域； 对所述第一中间图像执行阈值分割， 将所述第 一中间图像中属于瞳孔的像素点的像素 值置为25 5， 其它像素点的像素值置为0， 得到第二中间图像； 对所述第二中间图像执 行开运算， 得到第三中间图像； 对所述第三中间图像执 行找轮廓操作， 得到轮廓集 合； 在所述轮廓集合中确定出属于瞳孔的轮廓并合并， 得到合并后的轮廓， 并对合并后的 轮廓执行凸包操作， 得到点 集； 基于所述 点集执行椭圆拟合操作， 得到初始椭圆参数信息； 根据所述初始椭圆参数信 息、 所述瞳孔粗定位坐标以及所述第 一中间图像的尺寸计算 目标椭圆参数信息 。 2.根据权利要求1所述的瞳孔位置标注方法， 其特征在于， 对所述第 一中间图像执行阈 值分割， 将所述第一中间图像中属于瞳孔的像素点的像素值置为255， 其它像素点的像素值 置为0， 得到第二中间图像的步骤具体包括： 获取所述第一中间图像的灰度直方图； 采用高斯滤波器对所述灰度直方图进行平 滑处理； 获取平滑处理后的灰度直方图中灰度值小于预设值的第一波峰灰度值p、 以及灰度值 大于预设值的第二波峰灰度值b； 根据第一波峰灰度值p和第二波峰灰度值b确定像素分割阈值； 将所述第一中间图像中像素值小于所述像素分割阈值的像素点的像素值置为255， 以 及将所述第一中间图像中像素值大于等于所述像素分割阈值的像素点的像素值置为0 。 3.根据权利要求2所述的瞳孔位置标注方法， 其特征在于， 所述像素分割阈值为第 一波 峰灰度值p和第二波峰灰度值b 之间灰度曲线的波谷对应的灰度值， 或者， 所述像素分割阈 值为第一波峰灰度值p和第二波峰灰度值b的平均值。 4.根据权利要求1所述的瞳孔位置标注方法， 其特征在于， 在所述轮廓 集合中确定出属 于瞳孔的轮廓并合并， 得到合并后的轮廓的步骤具体包括： 从所述轮廓集 合中找出长度最长的轮廓作为瞳孔主轮廓； 从所述轮廓集合中找出轮廓中心与所述瞳孔主轮廓的轮廓中心的欧式距离小于预设 值的目标轮廓， 然后对所述瞳孔主轮廓和所述目标轮廓进行合并， 得到合并后的轮廓。 5.根据权利要求1所述的瞳孔位置标注方法， 其特征在于， 所述初始椭圆参数信 息包括 初始椭圆的中心坐 标 （xct, yct） ， 初始椭圆的椭圆半轴长度axest， 初始椭圆的椭圆旋 转角度 anglet； 所述目标椭圆参数信息包括目标椭圆的中心坐标 （xc, yc） ， 目标椭圆的椭圆半轴长度 axes， 目标椭圆的椭圆旋转角度angle， 所述目标椭圆参数信息满足以下 条件式： xc = xct + xp  ‑  W/2； yc = yct + yp  ‑  H/2；权　利　要　求　书 1/3 页 2 CN 115294202 A 2axes = axest； angle = anglet； 其中， （xp, yp） 表示所述瞳孔 粗定位坐标， W和H分别表示所述第一中间图像的宽和高。 6.根据权利要求1所述的瞳孔位置标注方法， 其特征在于， 对所述原始图像中的瞳孔进 行粗定位， 得到瞳孔 粗定位坐标的步骤具体包括： 通过鼠标对所述原 始图像中的瞳孔进行粗定位， 得到瞳孔 粗定位坐标； 或者； 通过基于深度 学习的定位模型对所述原始图像中的瞳孔进行粗定位， 得到瞳孔粗定位 坐标。 7.一种瞳孔 位置标注系统， 其特 征在于， 所述系统包括： 获取模块， 用于获取包 含人眼的原 始图像； 粗定位模块， 用于对所述原 始图像中的瞳孔进行粗定位， 得到瞳孔 粗定位坐标； 剪裁模块， 用于以所述瞳孔粗定位坐标为中心剪裁出矩形的第一中间图像， 所述第一 中间图像完全 包含瞳孔区域； 分割模块， 用于对所述第一中间图像执行阈值分割， 将所述第一中间图像中属于瞳孔 的像素点的像素值置为25 5， 其它像素点的像素值置为0， 得到第二中间图像； 第一执行模块， 用于对所述第二中间图像执 行开运算， 得到第三中间图像； 第二执行模块， 用于对所述第三中间图像执 行找轮廓操作， 得到轮廓集 合； 合并模块， 用于在所述轮廓 集合中确定出属于瞳孔的轮廓并合并， 得到合并后的轮廓， 并对合并后的轮廓执 行凸包操作， 得到点 集； 拟合模块， 用于基于所述 点集执行椭圆拟合操作， 得到初始椭圆参数信息； 计算模块， 用于根据所述初始椭圆参数信息、 所述瞳孔粗定位坐标以及所述第一中间 图像的尺寸计算目标椭圆参数信息 。 8.根据权利要求7 所述的瞳孔 位置标注系统， 其特 征在于， 所述分割模块具体用于： 获取所述第一中间图像的灰度直方图； 采用高斯滤波器对所述灰度直方图进行平 滑处理； 获取平滑处理后的灰度直方图中灰度值小于预设值的第一波峰灰度值p、 以及灰度值 大于预设值的第二波峰灰度值b； 根据第一波峰灰度值p和第二波峰灰度值b确定像素分割阈值； 将所述第一中间图像中像素值小于所述像素分割阈值的像素点的像素值置为255， 以 及将所述第一中间图像中像素值大于等于所述像素分割阈值的像素点的像素值置为0 。 9.根据权利要求7 所述的瞳孔 位置标注系统， 其特 征在于， 所述 合并模块具体用于： 从所述轮廓集 合中找出长度最长的轮廓作为瞳孔主轮廓； 从所述轮廓集合中找出轮廓中心与所述瞳孔主轮廓的轮廓中心的欧式距离小于预设 值的目标轮廓， 然后对所述瞳孔主轮廓和所述目标轮廓进行合并， 得到合并后的轮廓。 10.根据权利要求7所述的瞳孔位置标注系统， 其特征在于， 所述初始椭圆参数信息包 括初始椭圆的中心坐 标 （xct, yct） ， 初始椭圆的椭圆半轴长度axest， 初始椭圆的椭圆旋 转角 度anglet； 所述目标椭圆参数信息包括目标椭圆的中心坐标 （xc, yc） ， 目标椭圆的椭圆半轴长度 axes， 目标椭圆的椭圆旋转角度angle， 所述目标椭圆参数信息满足以下 条件式：权　利　要　求　书 2/3 页 3 CN 115294202 A 3