(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210580388.1 (22)申请日 2022.05.26 (71)申请人 清华大学深圳国际研究生院 地址 518000 广东省深圳市南 山区西丽大 学城清华校区 (72)发明人 丁文伯　赵子号　罗蒙恩　黄绍伦　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 廖慧贤 (51)Int.Cl. G06F 21/57(2013.01) G06F 21/60(2013.01) G06F 21/62(2013.01) G06N 20/00(2019.01) (54)发明名称 模型漏洞检测方法、 检测装置、 电子设备及 存储介质 (57)摘要 本申请公开了一种模 型漏洞检测方法、 检测 装置、 电子设备及存储介质。 模型漏洞检测方法 包括： 获取随机生成的 图像数据和标签数据并据 此计算云端模 型的模型梯度； 获取客户端模型的 第一模型参数和第二模型参数， 并结合模型梯度 计算损失函数值； 更新图像数据和标签数据直至 得到最小损失函数值， 并获取与之对应的目标图 像数据和目标标签数据； 根据目标图像数据、 目 标标签数据和原始训练数据检测模型漏洞， 其 中， 第一模 型参数为客户端模型在第一时间点的 模型参数， 第二模型参数为客户端模 型在第二时 间点的模型参数。 通过两个时间点的客户端模型 参数获得目标数据， 从而可以快速地检测模型算 法中存在的数据泄漏 漏洞， 实用性更高。 权利要求书2页 说明书9页 附图5页 CN 114896602 A 2022.08.12 CN 114896602 A 1.模型漏洞检测方法， 其特 征在于， 包括： 获取随机生成的图像数据和标签数据； 根据所述图像数据和所述标签数据计算云端模型的模型梯度； 获取客户端模型的第一模型参数和第二模型参数； 其中， 所述第一模型参数为所述客 户端模型在第一时间点的模型参数， 所述第二模型参数为所述客户端模型在第二时间点的 模型参数； 根据所述模型梯度、 所述第一模型参数和所述第二模型参数计算损失函数值； 更新所述图像数据和所述标签数据， 直至得到最小损失函数值； 获取与所述 最小损失函数值对应的目标图像数据和目标 标签数据； 根据所述目标图像数据、 所述目标标签数据、 原始图像数据和原始标签数据检测所述 客户端模型 是否存在模型漏洞。 2.根据权利要求1所述的模型漏洞检测方法， 其特征在于， 所述根据所述模型梯度、 所 述第一模型参数和所述第二模型参数计算损失函数值的步骤， 包括： 根据所述模型梯度得到第一比值； 根据所述第一模型参数和所述第二模型参数 得到第二比值； 根据所述第一比值和所述第二比值得到所述损失函数值。 3.根据权利要求2所述的模型漏洞检测方法， 其特征在于， 所述根据所述模型梯度 得到 第一比值的步骤， 包括： 计算所述模型梯度的范 数， 得到第一范 数值； 计算所述模型梯度与所述第一范 数值的比值， 得到所述第一比值。 4.根据权利要求2所述的模型漏洞检测方法， 其特征在于， 所述根据所述第 一模型参数 和所述第二模型参数 得到第二比值的步骤， 包括： 计算所述第一模型参数与所述第二模型参数的差， 得到第一差值； 计算所述第一差值的范 数， 得到第二范 数值； 计算所述第一差值与所述第二范 数值的比值， 得到所述第二比值。 5.根据权利要求2所述的模型漏洞检测方法， 其特征在于， 所述根据所述第 一比值和所 述第二比值得到所述损失函数值的步骤， 包括： 计算所述第一比值与所述第二比值的差， 得到第二差值； 计算所述第二差值的范 数， 得到第三范 数值； 计算所述第三范 数值的平方， 得到所述损失函数值。 6.根据权利要求1所述的模型漏洞检测方法， 其特征在于， 所述更新所述图像数据和所 述标签数据， 直至得到最小损失函数值的步骤， 包括： 根据梯度 下降法更新所述图像数据和所述标签数据， 并计算所述云端模型的新模型梯 度； 根据所述 新模型梯度、 所述第一模型参数和所述第二模型参数计算 新损失函数值； 重复上述 步骤直至得到所述 最小损失函数值。 7.根据权利要求1所述的模型漏洞检测方法， 其特征在于， 所述根据所述目标图像数 据、 所述目标标签数据、 原始图像数据和原始标签数据检测所述客户端模型是否存在模型 漏洞的步骤， 包括：权　利　要　求　书 1/2 页 2 CN 114896602 A 2计算所述目标图像数据与所述原 始图像数据的第一差异度； 计算所述目标 标签数据与所述原 始标签数据的第二差异度； 根据所述第 一差异度、 所述第 二差异度和对应的预设阈值判断所述客户端模型是否存 在模型漏洞。 8.模型漏洞检测装置， 其特 征在于， 包括： 第一数据获取模块， 所述第一数据获取模块用于获取随机生成的图像数据和标签数 据； 数据处理模块， 所述数据处理模块用于根据 所述图像数据和所述标签数据计算云端模 型的模型梯度； 模型参数获取模块， 所述模型参数获取模块用于获取客户端模型的第 一模型参数和第 二模型参数； 其中， 所述第一模 型参数为所述客户端模型在第一时间点的模型参数， 所述第 二模型参数为所述 客户端模型在第二时间点的模型参数； 计算模块， 所述计算模块用于根据所述模型梯度、 所述第一模型参数和所述第二模型 参数计算损失函数值； 数据更新模块， 所述数据更新模块用于更新所述图像数据和所述标签数据， 直至得到 最小损失函数值； 第二数据获取模块， 所述第 二数据获取模块用于获取与 所述最小损失函数值对应的目 标图像数据和目标 标签数据； 检测模块， 所述检测模块用于根据所述目标图像数据、 所述目标标签数据、 原始图像数 据和原始标签数据检测所述 客户端模型 是否存在模型漏洞。 9.电子设备， 其特 征在于， 包括： 至少一个存 储器； 至少一个处 理器； 至少一个程序； 所述程序被存 储在所述存 储器中， 所述处 理器执行所述至少一个程序以实现： 如权利要求1至7任一项所述的模型漏洞检测方法。 10.存储介质， 所述存储介质为计算机可读存储介质， 其特征在于， 所述计算机可读存 储介质存 储有计算机可 执行指令， 所述计算机可 执行指令用于使计算机执 行： 如权利要求1至7任一项所述的模型漏洞检测方法。权　利　要　求　书 2/2 页 3 CN 114896602 A 3