(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210580625.4 (22)申请日 2022.05.25 (65)同一申请的已公布的文献号 申请公布号 CN 114912146 A (43)申请公布日 2022.08.16 (73)专利权人 中国信息通信研究院 地址 100097 北京市海淀区花园北路52号 (72)发明人 魏薇　景慧昀　周凡棣　牛金行　 辛鑫　赵凯闻　 (74)专利代理 机构 北京金信知识产权代理有限 公司 11225 专利代理师 贾然 (51)Int.Cl. G06F 21/62(2013.01) G06F 21/60(2013.01)H04L 9/00(2022.01) H04L 9/40(2022.01) G06N 20/00(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 陈雅 (54)发明名称 一种垂直联邦架构下的数据信息防御方法、 系统、 电子设备及存 储介质 (57)摘要 本发明提出一种垂直联邦架构下的数据信 息防御方法、 系统、 电子设备及存储介质。 其中， 方法包括： 构建了基于垂直联邦的深度学习框 架， 将真实网络数据集转换成嵌入并加密后上传 至中央服务器， 防止攻击者得到目标的上传信息 从而导致隐私的泄露。 本发明基于同态加密来对 嵌入进行加密处理， 在不断地学习训练的过程中 加密嵌入， 以达到攻击者无法成功获得真实信 息。 与其他方法相比， 本发明具有防御能力强、 对 主要任务影响小等特点。 权利要求书3页 说明书11页 附图4页 CN 114912146 B 2022.12.06 CN 114912146 B 1.一种垂直联邦架构下的数据信息防御方法， 其特 征在于， 所述方法包括： 步骤S1、 构建基于垂直联邦学习框架， 该框架由m个参与者和一个中央服务器组成， 所 述参与者和中央服务器都具有本地计算资源； 参与者各自维护一个本地模型， 所述中央服 务器维护一个顶端模型； 步骤S2、 参与者联合选定一种模式作为密钥托管场景： 可信模式和非可信模式； 所述可 信模式中参与者执行半同态加密， 参与者使用统一的公钥和私钥； 所述 非可信模式下， 参与 者执行阈值同态加密方案， 参与者各自使用各自的公钥和私钥； 步骤S3、 每个参与者构建一个本地训练子图， 从所述本地训练子图学习网络数据信息 并提取特征矩阵， 构建本地模型， 即参与者将自身所掌握的网络数据通过所述本地模型转 换成嵌入表示； 步骤S4、 参与者利用公钥对本地生成的嵌入表示进行加密， 获得加密后的嵌入表示密 文， 并将所述嵌入表示密文发送至服 务器； 步骤S5、 所述中央服 务器聚合 拼接所有的参与者的嵌入表示密文形成聚合隐私密文； 步骤S6、 所述中央服 务器将所述聚合隐私密文在所述顶端模型中进行 前向传播； 在所述步骤S6 中， 所述中央服务器将所述聚合隐私密文在所述顶端模型中进行前向传 播的方法包括： 所述聚合隐私密文在前向传播过程中分别进行浮点型运算， 向量矩阵乘法以及激活函 数泰勒展开处 理； 浮点型运算将浮点数据乘以常数， 取整后模； 浮点型运算涉及到两个对象， 一个是对所 述顶端模型 的权重的浮点化处理； 另一个是对所述聚合隐私密文的浮点化处理； 对所述顶 端模型的权 重参数乘以常数10， 对所述聚合隐私密文乘以常数10 0操作； 步骤S7、 所述中央服务器通过损失函数计算损失值， 进行反向传播， 然后更新所述顶端 模型， 最后为每 个参与者分别发送梯度密文； 在所述步骤S7中， 所述中央服务器通过损失函数计算损失值， 进行反向传播， 然后更新 所述顶端模型的方法包括： 将所述前向传播的输出结果输入到softmax层获得预测置信度， 再将 softmax层的输出 结果和标签计算损失值， 损失函数采用多分类交叉熵损失函数； 通过对所述顶端模型求偏 导， 获得所述顶端模型更新的梯度， 然后对所述顶端模型参数进行一个步长的梯度下降更 新所述顶端模型的参数； 步骤S8、 参与者本地模型接收服务器下发的梯度密文， 对梯度密文进行解密， 更新本地 模型的参数； 步骤S9、 重复步骤S3至步骤S8， 直到全局模型收敛， 即在所述顶端模型上， 所述顶端模 型的预测准确度达 到设定要求。 2.根据权利要求1所述的一种垂直联邦架构下的数据信 息防御方法， 其特征在于， 在所 述步骤S1中， 所述本地模型选择 具有2层的图卷积神经网络作为特 征提取模型； 所述顶端模型为3层全连接层作 为特征提取模型， 其中每层全连接层连接Sigmoid激活 函数层， 第一层 全连接层网络的输入维度为参与者数量m*64， 其中m为垂 直联邦学习中的参 与者数量。 3.根据权利要求1所述的一种垂直联邦架构下的数据信 息防御方法， 其特征在于， 在所权　利　要　求　书 1/3 页 2 CN 114912146 B 2述步骤S2中， 在所述可信模式下， 参与者的加密采用RSA加密方案； 在所述非可信模式下， 按照参与者的实 际运算资源， 采用随机分组或者每个参与者独 自生成公钥和私钥。 4.根据权利要求1所述的一种垂直联邦架构下的数据信 息防御方法， 其特征在于， 在所 述步骤S3中， 所述参与者将自身所掌握的网络数据通过所述本地模 型转换成嵌入表示的方 法包括： 其中， X和 分别为特征矩阵和邻接矩阵， D表示度矩阵， Wl表示所述本地模型第l层的参 数， 为激活函数。 5.根据权利要求1所述的一种垂直联邦架构下的数据信 息防御方法， 其特征在于， 在所 述步骤S4中， 参与者利用公钥采用RSA算法对本地 生成的嵌入表示进行加密。 6.一种用于垂直联邦架构下的数据信息防御系统， 其特 征在于， 所述系统包括： 第一处理模块， 被配置为， 构建基于垂直联邦学习框架， 该框架 由m个参与者和一个中 央服务器组成， 所述参与者和中央服务器都具有本地计算资源； 参与者各自维护一个本地 模型， 所述中央服 务器维护一个顶端模型； 第二处理模块， 被配置为， 参与者联合选定一种模式作为密钥托管场景： 可信模式和非 可信模式； 所述可信模式中参与者执行半同态加密， 参与者使用统一的公钥和私钥； 所述 非 可信模式下， 参与者执 行阈值同态加密方案， 参与者各自使用各自的公钥和私钥； 第三处理模块， 被配置为， 每个参与者构建一个本地训练子图， 从所述本地训练子图学 习网络数据信息并提取特征矩阵， 构建本地模型， 即参与者将自身所掌握的网络数据通过 所述本地模型转换成 嵌入表示； 第四处理模块， 被配置为， 参与者利用公钥 对本地生成的嵌入表示进行加密， 获得加密 后的嵌入表示密文， 并将所述嵌入表示密文发送至服 务器； 第五处理模块， 被配置为， 所述中央服务器聚合拼接所有的参与者的嵌入表示密文形 成聚合隐私密文； 第六处理模块， 被配置为， 所述中央服务器将所述聚合 隐私密文在所述顶端模型中进 行前向传播； 所述中央服 务器将所述聚合隐私密文在所述顶端模型中进行 前向传播包括： 所述聚合隐私密文在前向传播过程中分别进行浮点型运算， 向量矩阵乘法以及激活函 数泰勒展开处 理； 浮点型运算将浮点数据乘以常数， 取整后模； 浮点型运算涉及到两个对象， 一个是对所 述顶端模型 的权重的浮点化处理； 另一个是对所述聚合隐私密文的浮点化处理； 对所述顶 端模型的权 重参数乘以常数10， 对所述聚合隐私密文乘以常数10 0操作； 第七处理模块， 被配置为， 所述中央服务器通过损 失函数计算损失值， 进行反向传播， 然而更新所述顶端模型， 最后为每 个参与者分别发送梯度密文； 所述中央服务器通过损 失函数计算损 失值， 进行反向传播， 然后更新所述顶端模型包 括： 将所述前向传播的输出结果输入到softmax层获得预测置信度， 再将 softmax层的输出权　利　要　求　书 2/3 页 3 CN 114912146 B 3