(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210346184.1 (22)申请日 2022.04.02 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 崔锦铭　王力　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 专利代理师 陈霁　周良玉 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/04(2006.01) G06F 21/60(2013.01) G06F 21/62(2013.01) (54)发明名称 联合训练逻辑回归 模型的方法及装置 (57)摘要 本说明书实施例提供一种联合训练逻辑回 归模型的方法， 所述训练涉及包括样本特征、 样 本标签和模型参数在内的3种训练数据， 均被拆 分为分片分布于两方之中； 该方法由两方中任意 的第一方执行， 包括： 利用随机数组第一分片中 的3个随机数第一分片， 对3种训练数据对应的3 个第一方分片对应进行掩码处理， 得到3个第一 掩码分片， 并发送给第二方， 该随机数组第一分 片由第三方将其生成的随机数组中的各数值拆 分为两方分片后， 将分片之一发送给第一方； 利 用3个第一掩码分片和从第二方接收的3个第二 掩码分片， 构建对应3种训练数据的3个掩码数 据； 基于3个掩码数据和随机数组第一分片进行 第一计算， 得到第一梯度分片， 用于更新模型参 数的第一方分片。 权利要求书2页 说明书9页 附图3页 CN 114742233 A 2022.07.12 CN 114742233 A 1.一种联合训练逻辑回归模型的方法， 所述训练涉及包括样本特征、 样本标签和模型 参数在内的3种训练数据； 所述3种训练数据均被拆分为分片分布于两方之中； 所述方法由 两方中任意的第一方 执行， 包括： 利用随机数组第一分片中的3个随机数第一分片， 对所述3种训练数据对应的3个第一 方分片对应进行掩码处理， 得到3个第一掩码分片， 并将其发送给第二方； 所述随机数组第 一分片由第三方将其生成的随机数组中的各数值拆分为两方分片后， 将分片之一 发送给第 一方而得到； 利用所述3个第一掩码分片和从所述第二方接收的3个第二掩码分片， 构建对应所述3 种训练数据的3个掩码数据； 基于所述3个掩码数据和所述随机数组第一分片进行第 一计算， 得到第 一梯度分片， 用 于更新所述模型参数的第一方分片； 所述第一计算基于所述逻辑回归模型的梯度计算的泰 勒展开式而确定 。 2.根据权利要求1所述的方法， 其中， 所述第一方持有所述样本特征， 所述第二方持有 所述样本标签； 在得到 3个第一掩码分片之前， 所述方法还 包括： 采用秘密分享技术， 将所述样本特征拆分为对应的第一方分片和第二方分片， 并将后 者发送给 所述第二方； 从所述第二方接收采用秘密分享 技术拆分所述样本标签而得到的第一方分片。 3.根据权利要求1或2所述的方法， 其中， 在得到3个第一掩码分片之前， 所述方法还包 括： 在初始化所述模型参数后， 将其拆分为对应的第一方分片和第二方分片， 并将后者发 送给所述第二方； 或者， 从所述第二方接收采用秘密分享技术拆分初始化后的所述模型参数而得到的第一方 分片。 4.根据权利要求1所述的方法， 其中， 利用3个随机数第 一分片对所述3种训练数据对应 的3个第一方分片对应进行掩码处 理， 得到3个第一掩码分片， 包括： 针对任意一种训练数据， 利用与其具有相同维度的随机数第一分片， 对其第一方分片 进行掩码处 理， 得到对应的第一掩码分片。 5.根据权利要求1所述的方法， 其中， 利用所述3个第一掩码分片和从所述第二方接收 的3个第二掩码分片， 构建对应所述3种训练数据的3个掩码数据， 包括： 针对任意一种训练数据， 利用其第一掩码分片和第二掩码分片， 构建对应的掩码数据。 6.根据权利要求1所述的方法， 其中， 所述随机数组还包括第四随机数； 所述3个随机数 中包括与所述模型参数对应的第二 随机数； 所述3个掩码数据中包括所述样本特征对应的 特征掩码数据； 在构建对应所述3种训练数据的3个掩码数据之后， 以及得到第一梯度分片 之前， 所述方法还 包括： 基于所述第二随机数的第一分片、 所述特征掩码数据， 以及所述第 四随机数的第一分 片， 确定第二 随机数和所述特征掩码数据的乘积结果对应的第一乘积掩码分片， 并将其发 送给第二方； 利用所述第一乘积掩码分片和从所述第二方接收的该乘积结果对应的第二乘积掩码 分片， 构建所述乘积结果对应的乘积掩码数据；权　利　要　求　书 1/2 页 2 CN 114742233 A 2其中， 基于所述3个掩码数据和随机数组第一分片进行第一计算， 包括： 还基于所述乘积掩码数据进行 所述第一计算。 7.根据权利要求1或6所述的方法， 其中， 所述随机数组还包括多个附加值， 所述多个附 加值是所述第三方基于所述3个随机数进行运算而得到的数值； 其中， 基于所述3个掩码数 据和随机数组第一分片进行第一计算， 得到第一梯度分片， 包括： 基于所述3个掩码数据， 计算训练梯度对应的梯度掩码数据； 基于所述3个掩码数据、 所 述3个随机数第一分片以及所述多个附加 值的第一分片， 计算针对所述梯度掩码数据中掩 码的第一去除分片； 利用该第一去除分片对所述梯度掩码数据进行去掩码处理， 得到所述 第一梯度分片； 或者， 确定所述第一去除分片， 作为所述第一梯度分片。 8.根据权利要求1所述的方法， 其中， 在得到第一梯度分片之后， 所述方法还 包括： 利用所述模型参数的第一方分片， 减去预设学习率与所述第一梯度分片之间的乘积， 作为更新后的模型参数的第一方分片。 9.一种联合训练逻辑回归模型的装置， 所述训练涉及包括样本特征、 样本标签和模型 参数在内的3种训练数据； 所述3种训练数据均被拆分为分片分布于两方之中； 所述装置集 成于两方中任意的第一方， 包括： 掩码处理单元， 配置为利用随机数组第一分片中的3个随机数第一分片， 对所述3种训 练数据对应的3个第一方分片对应进行掩码处理， 得到3个第一掩码分片， 并将其发送给第 二方； 所述随机数组第一分片由第三方将其生成的随机数组中的各数值拆分为两方分片 后， 将分片之一发送给第一方而得到； 数据重构单元， 配置为利用所述3个第一掩码分片和从所述第二方接收的3个第 二掩码 分片， 构建对应所述3种训练数据的3个掩码数据； 梯度分片计算单元， 配置为基于所述3个掩码数据和所述随机数组第一分片进行第一 计算， 得到第一梯度分片， 用于更新所述模型参数的第一方分片； 所述第一计算基于所述逻 辑回归模型的梯度计算的泰勒展开式而确定 。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其中， 当所述计算机程序在计 算机中执 行时， 令计算机执 行权利要求1 ‑8中任一项所述的方法。 11.一种计算设备， 包括存储器和处理器， 其中， 所述存储器中存储有可执行代码， 所述 处理器执行所述可执行代码时， 实现权利要求1 ‑8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114742233 A 3