(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111640989.9 (22)申请日 2021.12.2 9 (71)申请人 中南大学 地址 410083 湖南省长 沙市麓山 南路932号 (72)发明人 陈晚云　徐赞　李联凯　许宁　 管博昂　聂蕙　谢沛铭　尹建树　 陈启实　李永波　 (74)专利代理 机构 长沙朕扬知识产权代理事务 所(普通合伙) 43213 代理人 包雨函 (51)Int.Cl. G06V 40/16(2022.01) G06Q 10/06(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 面试微笑评价方法及系统 (57)摘要 本发明公开了面试微笑评价方法及系统， 通 过获取面试者的面试图片， 并从所述面试图片中 识别并提取评价者的面部图像； 将所述面部图像 输入到预先构建并训练好的标准微笑识别模型 中， 得到面试者面部图像的经验评分； 采用五官 定位算法从所述面部图像中提取面试者的五官 相对位置， 并计算所述五官相对位置数据与预先 构建的标准微笑人脸的标准五官相对位置的相 似度评分； 根据所述经验评分和相似度评分对面 试者的面试表情进行综合评价； 相比现有技术， 本发明根据神经网络模型输出经验评分和数值 模型输出的相似度评分来综合判断面试者的面 部表情， 能提高面部表情 的准确率， 为面试者的 面部表情训练以及AI面试系统中的面部表情评 价功能提供有力支持。 权利要求书2页 说明书5页 附图1页 CN 114360012 A 2022.04.15 CN 114360012 A 1.一种面试微笑评价方法， 其特 征在于， 包括以下步骤： 获取面试者的面试图片， 并从所述 面试图片中识别并提取评价 者的面部图像； 将所述面部图像输入到预先构建并训练好的标准微笑识别模型中， 得到面试者面部图 像的经验评分 score1； 采用五官定位算法从所述面部图像中提取面试者的五官相对位置， 并计算所述五官相 对位置数据与预 先构建的标准 微笑人脸的标准五官相对位置的相似度评分 score2； 根据所述经验评分 score1和相似度评分 score2对面试者的面试表情进行综合评价。 2.根据权利要求1所述的面试微笑评价方法， 其特征在于， 所述标准微笑识别模型为采 用残差卷积神经网络作为模型框架的二分类模型， 训练数据的训练标签为微笑与不微笑； 模型输入为 面部图像， 输出为输入的面部图像的微笑概 率。 3.根据权利要求1所述的面试微笑评价方法， 其特征在于， 所述五官相对位置包括： 两 眼之间的距离e、 眉毛之间的距离m、 两眼连线的中点和鼻翼中点的垂直距离c、 上嘴唇两边 连线的中点和鼻翼中点的垂 直距离d以及上嘴唇和下嘴唇之间的距离a； 标准 五官相对位置 包括标准两眼之间的距离estd、 标准眉毛之间的距离mstd、 标准两眼连线的中点和鼻翼 中点 的垂直距离cstd、 标准上嘴唇两边连线的中点和鼻翼中点的垂 直距离dstd以及标准上嘴唇和 下嘴唇之间的距离astd。 4.根据权利要求3所述的面试微笑评价方法， 其特征在于， 将所述五官相对位置数据与 预先构建的标准 微笑人脸的标准五官相对位置数据进行相似度计算， 包括以下步骤： 将所述五官相对位置数据缩放至[0， 1]范围内， 其中， 缩放公式如下； 其中， e1为缩放后的两眼之间的距离e， m1为缩放后的眉毛之间的距离m； c1为缩放后的 两眼连线的中点和鼻翼中点的垂直距离c； d1为缩放后的上嘴唇两边连线的中点和鼻翼中 点的垂直距离d； a1为缩放后的上嘴唇和下嘴唇之间的距离a； 基于缩放后的所述五官相对位置数据， 并采用以下公式计算所述五官相对位置数据与 标准五官相对位置数据的相似度： score2＝(e1‑estd)2+(m1‑mstd)2+(c1‑cstd)2+(d1‑dstd)2+(a1‑astd)2。 5.根据权利 要求4所述的面试微笑评价方法， 其特征在于， 根据所述经验评分score1和 相似度评分 score2对面试者的面试表情进行综合评价， 通过以下公式实现： scoreM＝score1 ×ω1+score2 ×ω2 其中， scoreM为面试者面试表情的综合评分， 其中， scoreM值越大， 表示面试者面试表 情越趋近与标准面试表情， 越能给面试官好印象； scoreM值越小， 表示面试者面试表情越偏 离标准面试表情， 越容易导致面试官影响不好； ω1为面试者面试表情的经验评 分score1的 权重， ω2为 面试者面试表情的相似度评分 score2的权 重。 6.根据权利要求1所述的面试微笑评价方法， 其特征在于， 从所述面试图片中识别并提 取评价者的面部图像采用基于R ‑CNN的人脸识别模 型实现； 所述R ‑CNN的人脸识别模型以面 试图片为输入， 以面试图片 中的面部图像为输出， 以标注有面部图像的面试图片为训练数 据。 7.根据权利要求 4所述的面试微笑评价方法， 其特 征在于， 还 包括以下步骤：权　利　要　求　书 1/2 页 2 CN 114360012 A 2设置综合评分下限， 将面试者的面试表情的综合评分与所述综合评分下限进行比较， 当所述综合评 分低于所述综合评 分下限时， 输出报警信号/对应的面部图像给面试者， 以提 示面试者微笑。 8.一种计算机系统， 包括存储器、 处理器以及存储在存储器上并可在处理器上运行的 计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现上述权利要求1至7任一 所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114360012 A 3