(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210960358.3 (22)申请日 2022.08.11 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 尹英杰　丁菁汀　李亮　 (74)专利代理 机构 北京恒博知识产权代理有限 公司 11528 专利代理师 侯世俭 (51)Int.Cl. G06V 40/18(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/77(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 视线方向估计方法、 装置、 电子设备、 介质及 程序产品 (57)摘要 本说明书实施例公开了一种视线方向估计 方法、 装置、 电子设备、 介质及程序产品。 其中， 该 方法包括： 基于目标对象对应的目标图像获取目 标脸部图像和目标眼部图像， 将目标脸部图像和 目标眼部图像输入视线 方向估计模 型中， 从而根 据目标眼部图像对应的眼部状态结合目标眼部 图像和目标脸部图像输出目标对象的第一目标 视线方向， 视线方向估计模型基于已知视线 方向 和眼部状态的多个样本图像各自对应的样本脸 部图像和样本眼部图像进行训练得到 。 权利要求书2页 说明书18页 附图5页 CN 115376198 A 2022.11.22 CN 115376198 A 1.一种视线方向估计方法， 所述方法包括： 基于目标对象对应的目标图像获取目标脸部图像和目标眼部图像； 将所述目标脸部图像和所述目标眼部图像输入视线方向估计模型中， 输出所述目标对 象的第一目标视线方向； 所述视线方向估计模 型基于已知视线方向和眼部状态的多个样本 图像各自对应的样本脸部图像和样本眼部图像进行训练得到 。 2.如权利要求1所述的方法， 所述将所述目标脸部图像和所述目标眼部图像输入视线 方向估计模型中， 输出 所述目标对象的第一目标视线方向， 包括： 提取所述目标脸部图像对应的目标脸部特征， 并提取所述目标眼部图像对应的目标眼 部特征； 基于所述目标眼部特 征确定所述目标眼部图像对应的眼部状态； 基于所述眼部状态对所述目标眼部特征进行加权得到所述目标眼部图像对应的目标 眼部状态监 督特征； 将所述目标脸部特 征以及所述目标眼部状态监 督特征进行融合， 得到目标融合特 征； 基于所述目标融合特 征估计所述目标对象的第一目标视线方向。 3.如权利要求2所述的方法， 所述目标眼部图像包括目标左眼 图像和目标右眼 图像； 所述提取所述目标眼部图像对应的目标眼部特 征， 包括： 分别提取所述目标左眼图像对应的目标左眼特征和所述目标右眼图像对应的目标右 眼特征； 所述基于所述目标眼部特 征确定所述目标眼部图像对应的眼部状态， 包括： 基于所述目标左眼特征确定所述目标左眼图像对应的左眼状态， 以及所述目标右眼特 征基于所述目标右眼 图像对应的右眼状态； 所述基于所述眼部状态对所述目标眼部特征进行加权得到所述目标眼部图像对应的 目标眼部状态监 督特征， 包括： 基于所述目标左眼图像对应的左眼状态对所述目标左眼特征进行加权得到所述目标 左眼图像对应的目标左眼状态监督特征， 以及基于所述目标右眼图像对应的右眼状态对所 述目标右眼特 征进行加权得到所述目标右眼 图像对应的目标右眼状态监 督特征； 所述将所述目标脸部特征以及所述目标眼部状态监督特征进行融合， 得到目标融合特 征， 包括： 将所述目标脸部特征、 所述目标左眼状态监督特征以及所述目标右眼状态监督特征进 行融合， 得到目标融合特 征。 4.如权利要求1所述的方法， 所述视线方向估计模型包括： 脸部图像视线方向估计网 络、 眼部图像视线方向估计网络以及特 征融合视线方向估计网络； 所述脸部图像视线方向估计网络， 用于提取输入所述视线方向估计模型的脸部图像中 的脸部特 征； 所述眼部图像视线方向估计网络， 用于提取输入所述视线方向估计模型的眼部图像的 眼部特征， 并基于所述眼部特 征确定所述眼部图像对应的眼部状态； 所述特征融合视线方向估计网络， 用于基于所述眼部图像对应的眼部状态将所述眼部 特征与所述脸部特征进行融合得到融合特征， 并基于所述融合特征估计所述脸部图像以及 所述眼部图像对应的对象的视线方向。权　利　要　求　书 1/2 页 2 CN 115376198 A 25.如权利要求1 ‑4任一项所述的方法， 所述眼部状态包括睁闭眼状态和/或遮挡状态； 所述睁闭眼状态包括睁 眼状态和闭 眼状态； 所述遮挡状态包括未遮挡状态和已遮挡状态。 6.如权利要求4所述的方法， 所述脸部图像视线方向估计网络基于已知视线方向多个 样本图像各自对应的样本脸部图像进行训练得到； 所述眼部 图像视线方向估计网络基于已知视线方向和眼部状态的多个样本图像各自 对应的样本眼部图像进行训练得到； 所述特征融合视线方向估计网络基于所述多个样本 图像各自对应的样本脸部图像经 由所述脸部图像视线方向估计网络得到的脸部特征、 所述多个样本图像各自对应的样本眼 部图像经由所述眼部图像视线方向估计网络得到的眼部特征和眼部状态、 以及所述多个样 本图像各自对应的视线方向进行训练得到 。 7.如权利要求1所述的方法， 所述基于目标对象对应的目标图像获取目标脸部图像和 目标眼部图像， 包括： 基于目标对象对应的目标图像利用脸部检测算法 以及关键点检测算法分别确定所述 目标对象在头 部坐标系下的第一 脸部位置信息以及第一关键点 位置信息； 根据所述第一脸部位置信息以及所述第一关键点位置信息利用预设坐标转换算法得 到所述目标图像对应的相机坐标系下的第一 脸部图像和第一眼部图像； 基于预设透视变换矩阵对所述第 一脸部图像和所述第 一眼部图像进行矫正处理， 得到 目标脸部图像和目标眼部图像。 8.如权利要求7所述的方法， 所述将所述目标脸部图像和所述目标眼部图像输入视线 方向估计模型中， 输出 所述目标对象的第一目标视线方向之后， 所述方法还 包括： 基于所述预设透视变换矩阵的逆矩阵计算所述第一目标视线方向在所述相机坐标系 下的第二目标视线方向。 9.一种视线方向估计装置， 所述装置包括： 获取模块， 用于基于目标对象对应的目标图像获取目标脸部图像和目标眼部图像； 视线方向估计模块， 用于将所述目标脸部图像和所述目标眼部图像输入视线方向估计 模型中， 输出所述 目标对象的第一 目标视线方向； 所述视线方向估计模型基于已知视线方 向和眼部状态的多个样本图像各自对应的样本脸部图像和样本眼部图像进行训练得到 。 10.一种电子设备， 包括： 处 理器和存 储器； 所述处理器与所述存 储器相连； 所述存储器， 用于存 储可执行程序代码； 所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序 代码对应的程序， 以用于执 行如权利要求1 ‑8任一项所述的方法。 11.一种计算机存储介质， 所述计算机存储介质存储有多条指令， 所述指令适于由处理 器加载并执 行如权利要求1 ‑8任一项的方法步骤。 12.一种包含指令的计算机程序产品， 当所述计算机程序产品在计算机或处理器上运 行时， 使得 所述计算机或所述处 理器执行如权利要求1 ‑8任一项所述的视线方向估计方法。权　利　要　求　书 2/2 页 3 CN 115376198 A 3