(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210620010.X (22)申请日 2022.06.02 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 韩牟　徐艳丽　康艳辉　吕一涵　 陈敏茜　 (74)专利代理 机构 南京智造力知识产权代理有 限公司 32382 专利代理师 胡德水 (51)Int.Cl. G06F 21/32(2013.01) G06F 21/60(2013.01) G06F 21/71(2013.01) G06F 21/62(2013.01)G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于同态加密机器学习方法的车内网 人脸信息隐私保护方法 (57)摘要 本发明公开了一种基于同态加密机器学习 方法的车内网人脸信息隐私保护方法， 包括以下 步骤： 步骤1： 人脸数据采集装置采集使用者的人 脸图片上传到 人脸识别模块； 步骤2： 图片处理装 置对捕获到的人脸照片压缩并灰度化处理； 步骤 3： 使用全同态加密技术来实现对人脸特征信息 进行加密； 步骤4： 提取攻击者人脸特征， 上传到 同态加密模块； 步骤5： 使用全同态加密对攻击者 人脸特征信息加密； 步骤6： 基于全同态加密将两 个密文信息计算人脸特征相似度； 步骤7： 将结果 进行解密， 可确认该对象是否能得到通行许可。 能直接对加密后的数据进行计算比对， 保证人脸 数据信息在存储、 传输与计算过程中的隐私性和 正确性。 权利要求书2页 说明书5页 附图1页 CN 115033861 A 2022.09.09 CN 115033861 A 1.一种基于同态加密机器学习方法的车内网人脸信息隐私保护方法， 其特征在于， 包 括以下步骤： 步骤1： 人脸数据采集装置采集使用者的人脸图片上传到人脸识别模块； 步骤2： 图片处 理装置对捕获到的人脸照片压缩并灰度化处 理； 步骤3： 使用全同态加密技 术来实现对人脸特 征信息进行加密； 步骤4： 提取攻击者人脸特 征， 上传到同态加密模块； 步骤5： 使用全同态加密对攻击者人脸特 征信息加密； 步骤6： 基于全同态加密将两个密文信息计算人脸特 征相似度； 步骤7： 将结果进行解密， 可确认该对象是否能得到通行 许可。 2.根据权利要求1所述一种基于同态加密机器学习方法的车内网人脸信息隐私保护方 法， 其特征在于， 步骤1的具体过程为， 利用opencv的VideoCapture()方法来调用摄像头， read()方法读取每一帧， 通过detectMultiScale()方法完成人脸探测工作， 实时监测人 脸， 通过opencv自带的人脸分类器haar来识别并标注出人脸区域， 用haarcascade_ frontalface_alt 2.xml分类 器， 将检测到人脸的帧保存为图片存到指定的文件夹下面。 3.根据权利要求1所述一种基于同态加密机器学习方法的车内网人脸信息隐私保护方 法， 其特征在于， 步骤2的具体过程为， 在opencv中通过设置detectMultiScale()方法的 scaleFactor参数来设置图像缩放比例， cvtColor()方法进行色彩空间的转换， 从BGR空间 转换为灰度空间。 4.根据权利要求1所述一种基于同态加密机器学习方法的车内网人脸信息隐私保护方 法， 其特征在于， 步骤3的具体过程 为： 步骤3.1： GenK ey( λ )： 生成一对公私钥， 根据输入的安全参数生成公钥 θp和私钥 θ s； 步骤3.2： Encrypt(m， θp)： 使用公钥 θp加密消息m， 计算 生成密文c； 步骤3.3： Ad d(c0， c1)： 输入两个密文c 0和c1， 计算 求得这两个密文的和c 0+c1； 步骤3.4： Multiply(c0， c1):输入两个密文c0和c1， 计算求得这两个密文的乘积c0 × c1； 步骤3.5： Decrypt(c ′， θ s):根据密文c ′， 利用私钥 θ s计算出明文m ′。 5.根据权利要求1所述一种基于同态加密机器学习方法的车内网人脸信息隐私保护方 法， 其特征在于， 步骤4的具体过程 为： 4.1， 在开始训练前， 所有 的权值都应该用一些不同的随机数进行初始化， “小随机数 ” 用来保证网络不会因权值过大而进入饱和状态， 从而导致训练失败； “不同”用来保证网络 可以正常地学习， 实际上， 如果用相同的数去初始化权矩阵， 则网络无 学习能力； 4.2， 选定训练组， 从样本集中分别随机地 寻求N个样本作为训练 组； 4.3， 将各权值、 阈值， 置成小的接 近于0的随机值， 并初始化精度控制参数和学习率； 4.4， 从训练 组中取一个输入 模式加到网络， 并给 出它的目标输出向量； 4.5， 计算出中间层输出向量和网络的实际输出向量； 4.6， 将输出向量中的元素与目标向量中的元素进行比较， 计算出输出误差； 对于中间 层的隐单 元也需要计算出误差； 4.7， 依次计算出 各权值的调整量和阈值的调整量； 4.8， 调整权值和调整阈值；权　利　要　求　书 1/2 页 2 CN 115033861 A 24.9， 当经历M后， 判断指标是否满足精度要求， 如果不满足， 则返回4.4， 继续迭代； 如果 满足就进入下一 步。 6.根据权利要求5所述一种基于同态加密机器学习方法的车内网人脸信息隐私保护方 法， 其特征在于， 还 包括以下步骤： 4.10， 训练结束， 将权值和阈值保存在文件中， 这时可以认为各个权值已经达到稳定， 分类器已经形成； 再一次进 行训练， 直接从文件导出权值和阈值进 行训练， 不需要进 行初始 化； 4.11， 从用户的角度， 输入要 进行处理的人脸数据； 4.12， 构建参数容器parms， 并输入重要参数， CKKS有三个重要参数： poly_module_ degree多项式模数， coef f_modulus参数模数， scale规模； 4.13， 用所选参数生成CK KS框架co ntext； 4.14， 利用seal库函数构建各模块： 首先构建密钥生成模块， 生成公钥、 私钥和重线性 化密钥； 然后构建编码器， 加密模块、 运 算器和解密模块。 7.根据权利要求1所述一种基于同态加密机器学习方法的车内网人脸信息隐私保护方 法， 其特征在于， 步骤6的具体过程 为： 在全同态加密方案中,首先生成一对公私钥 :公钥 θp和私钥 θα:然后通过加密函数f对人 脸特征X进行加密: ε(X)＝f(X： θp),同时满足X＝g( ε(X)； θα),其中,g为解密函数， 基于全同 态加密的人脸相似度在保护人脸特征安全性的基础,还要保证在加密域中进 行同态计算后 尽量不损失精度,即： sim( ε(A), ε(B) )＝sin(f(x； θp),f(y； θp)) g(sim( ε(A), ε(B) )； θα)≈sim(A,B) 其中,sim()表 示欧式距离或者余弦相似度， x,y是需要加密的两个明文文本， 通过加密 函数f和公钥θp， 对人脸特征x,y进行加密得到密文ε( A)， ε(B)， 计算得到其相似度sim( ε (A)， ε(B)),用私钥θα和解密函数g对相 似度sim( ε(A)， ε(B))进行解密， 得到原来明文的相 似度， 其计算相似度过程没有直接用到明文， 因此 可以确保其明文信息安全性。权　利　要　求　书 2/2 页 3 CN 115033861 A 3