(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210620198.8 (22)申请日 2022.06.02 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 曹佳炯　丁菁汀　 (74)专利代理 机构 北京恒博知识产权代理有限 公司 11528 专利代理师 范胜祥 (51)Int.Cl. G06F 21/60(2013.01) G06F 21/62(2013.01) G06V 10/40(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种模型处理方法、 装置、 存储介质及电子 设备 (57)摘要 本说明书公开了一种模型处理方法、 装置、 存储介质及电子设备， 其中， 方法包括： 通过 获取 所划分事务场景簇中至少一个目标隐私事务场 景分别对应的多模态数据， 以及获取事务场景簇 的初始场景簇隐私处理模型， 然后基于多模态数 据对初始场景簇隐私处理模型进行模型训练得 到训练好的场景簇隐私处理模型， 然后通过场景 簇隐私处理模型可以对至少一个目标隐私事务 场景进行隐私事务处 理。 权利要求书3页 说明书20页 附图8页 CN 115221537 A 2022.10.21 CN 115221537 A 1.一种模型处 理方法， 所述方法包括： 对隐私事务场景划分至少一个事务场景簇， 获取所述事务场景簇 中至少一个目标隐私 事务场景分别对应的多模态数据； 获取所述事务场景簇对应的初始场景簇隐私处理模型， 基于所述多模态数据对所述初 始场景簇隐私处 理模型进行模型训练， 得到针对所述事务场景簇的场景簇隐私处 理模型； 基于所述场景簇隐私处 理模型对至少一个所述目标隐私事务场景进行隐私事务处 理。 2.根据权利要求1所述的方法， 所述对隐私事务场景划分至少一个事务场景簇， 包括： 获取每个隐私事务场景分别对应的参考多模态数据， 提取所述隐私事务场景对应的所 述参考多模态数据中的多模态特 征； 基于所述隐私事务场景对应的所述多模态特征对所述每个隐私事务场景划分至少一 个事务场景簇 。 3.根据权利要求2所述的方法， 所述基于所述隐私事务场景对应的所述多模态特征对 所述每个隐私事务场景划分至少一个事务场景簇， 包括： 对所有所述隐私事务场景对应的所述多模态特征进行特征聚类， 得到针对各所述隐私 事务场景的场景模态标签； 基于所述场景模态标签对所述每 个隐私事务场景划分至少一个事务场景簇 。 4.根据权利要求2所述的方法， 所述参考多模态数据包括参考文本数据和参考图像数 据， 所述多模态特 征至少包括文本特 征和图像特 征， 所述提取所述隐私事务场景对应的所述 参考多模态数据中的多模态特 征， 包括： 将所述参考文本数据和参考图像数据输入至多模态特征网络进行特征提取， 得到文本 特征和图像特 征。 5.根据权利要求 4所述的方法， 所述方法还 包括： 获取至少一个参考隐私事务场景下的多模态样本数据， 所述多模态样本数据包括样本 文本数据以及样本图像数据； 基于所述样本文本数据以及所述样本图像数据对所述初始多模态特征网络进行特征 提取训练， 得到训练后的多模态特 征网络； 所述第一损失函数满足以下公式： 其中， 所述 Loss A为第一损失， ftext为文本提取 特征， fimg为图像提取 特征。 6.根据权利要求1所述的方法， 所述基于所述多模态数据对所述初始场景簇隐私处理 模型进行模型训练， 得到针对所述事务场景簇的场景簇隐私处 理模型， 包括： 将所述多模态数据输入至所述初始场景簇隐私处理模型， 通过所述初始场景簇隐私处 理模型确定所述多模态数据对应的模态处理数据以及针对所述模态处理数据对应的模态 还原数据； 基于所述多模态数据、 所述隐私处理数据以及所述模态还原数据对所述初始场景簇隐 私处理模型进行模型训练， 得到训练后的针对所述事务场景簇的场景簇隐私处 理模型。 7.根据权利要求6所述的方法， 所述初始场景簇隐私处理模型包括初始隐私脱敏网络 以及初始反隐私脱敏网络，权　利　要　求　书 1/3 页 2 CN 115221537 A 2所述将所述多模态数据输入至所述初始场景簇隐私处理模型， 通过所述初始场景簇隐 私处理模型确定所述多模态数据对应的模态处理数据以及针对所述模态处理数据对应的 模态还原数据， 包括： 将所述多模态数据输入至所述初始场景簇隐私处理模型， 基于所述多模态数据采用所 述初始隐私脱敏网络确定模态处理数据， 以及基于所述模态处理数据采用所述初始反隐私 脱敏网络确定模态还原数据。 8.根据权利要求6所述的方法， 所述基于所述多模态数据、 所述隐私处理数据以及所述 模态还原数据对所述初始场景簇隐私处理模型进 行模型训练， 得到训练后的针对所述事务 场景簇的场景簇隐私处 理模型， 包括： 基于所述多模态数据和所述隐私处理数据确定针对所述初始场景簇隐私处理模型的 隐私处理损失； 基于所述隐私处理数据以及所述模态还原数据确定针对所述初始场景簇隐私处理模 型的隐私重建损失； 基于所述隐私处理损失以及所述隐私重建损失对所述初始场景簇隐私处理模型进行 模型训练， 得到训练后的针对所述事务场景簇的场景簇隐私处 理模型。 9.根据权利要求6所述的方法， 所述方法还 包括： 获取针对所述事务场景簇的平均 预测概率值； 基于所述多模态数据采用所述初始场景 簇隐私处 理模型输出针对所述事务场景簇的场景 预测概率值； 基于所述平均预测概率值和所述场景预测概率值确定针对所述初始场景簇隐私处理 模型的场景分类损失； 所述基于所述隐私处理损 失以及所述隐私重建损失对所述初始场景簇隐私处理模型 进行模型训练， 包括 基于所述场景分类损失、 所述隐私处理损失以及所述隐私重建损失对所述初始场景簇 隐私处理模型进行模型训练。 10.根据权利要求9所述的方法， 所述基于所述场景分类损失、 所述隐私处理损失以及 所述隐私重建损失对所述初始场景簇隐私处 理模型进行模型训练， 包括： 将所述场景分类损失、 所述隐私处理损失以及所述隐私重建损失输入至第 二损失计算 式中， 得到模型总损失； 基于所述模型总损失对所述初始场景簇隐私处 理模型进行模型训练； 所述第二损失计算式满足以下公式： 其中， Lossprivacy为所述模型总损失， I为所述多模态数据， Iprivacy为所述隐私处理数据， Ireconstruction为所述模态还原数据， Ppred为所述场景预测概率值， Pavg为所述平均预测概率 值。 11.根据权利要求1所述的方法， 所述场景簇隐私处理模型包括隐私脱敏网络以及反隐 私脱敏网络， 所述基于所述场景簇隐私处理模型对至少一个所述目标隐私事务场景进行隐私事务 处理， 包括：权　利　要　求　书 2/3 页 3 CN 115221537 A 3