(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211352388.2 (22)申请日 2022.10.31 (71)申请人 北京有竹居网络技 术有限公司 地址 101299 北京市平谷区林荫北街13号 信息大厦802室 (72)发明人 吴昊　郭雨　崔权　周博言　杨成　 (74)专利代理 机构 北京世辉律师事务所 16 093 专利代理师 李峥宇 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 确定对比学习模型的更新梯度的方法、 装 置、 设备和介质 (57)摘要 提供了确定对比学习模型的更新梯度的方 法、 装置、 设备和介质。 在一种方法中， 基于用于 训练对比学习模型的第一组训练数据和第二组 训练数据， 确定对比学习模型的第一类型的梯度 因子， 第一类型的梯度因子在对比学习模型的训 练过程中不被用于反向传播。 在训练过程中的第 一阶段中， 基于对比学习模型确定与第一组训练 数据相关联的第二类型的梯度因子， 与第一组训 练数据相关联的第二类型的梯度因子在训练过 程中将被用于反向传播。 基于第一类型的梯度因 子和与第一组训练数据相关联的第二类型的梯 度因子， 获取用于更新对比学习模型的梯度。 以 此方式， 可以在不增加计算负载的情况下提高训 练过程的性能。 权利要求书2页 说明书19页 附图6页 CN 115511105 A 2022.12.23 CN 115511105 A 1.一种用于确定对比学习模型的更新梯度的方法， 包括： 基于用于训练所述对比学习 模型的第 一组训练数据和第 二组训练数据， 确定所述对比 学习模型的第一类型的梯度因子， 所述第一类型的梯度因子在所述对比学习模型的训练过 程中不被用于反向传播； 在所述训练过程中的第 一阶段中， 基于所述对比学习模型确定与所述第 一组训练数据 相关联的第二类型的梯度因子， 与所述第一组训练数据相关联的所述第二类型的梯度因子 在所述训练过程中将被用于所述反向传播； 以及 基于所述第一类型的梯度因子和与所述第一组训练数据相关联的第二类型的梯度因 子， 获取用于更新所述对比学习模型的梯度。 2.根据权利要求1的所述方法， 其中所述第一组训练数据和所述第二组训练数据中的 训练数据包括第一模态的数据、 第二模态的数据、 以及表示所述第一模态的数据与所述第 二模态的数据之间的关联关系的标签。 3.根据权利要求2的所述方法， 其中确定所述第一类型的梯度因子包括： 确定与所述训练数据相关联的损失函数； 利用所述对比学习模型分别确定所述第一模态的数据的第一特征以及所述第二模态 的数据的第二特 征； 以及 基于所述损失函数、 所述第一特 征以及所述第二特 征， 确定所述第一类型的梯度因子 。 4.根据权利要求3的所述方法， 其中确定所述损失函数包括： 利用所述对比学习模型确定与所述训练数据相关联的预测值； 以及 基于所述预测值和所述训练数据中的标签之间的差异确定所述损失函数。 5.根据权利要求 4的所述方法， 其中确定所述第一特 征以及所述第二特 征包括： 基于所述对比学习模型中的第 一编码器和第 二编码器， 分别确定所述第 一特征以及所 述第二特征， 所述第一编 码器描述所述第一模态的数据与所述第一模态的数据的特征之间 的关联关系， 以及所述第二编 码器描述所述第二模态的数据与所述第二模态的数据的特征 之间的关联关系。 6.根据权利要求5的所述方法， 其中与所述第一组训练数据相关联的所述第二类型的 梯度因子包括所述第一组训练数据中的训练数据中的第一模态的数据的特征和第二模态 的数据的特征， 以及所述方法进一步包括： 分别基于所述第一编码器和所述第二编码器来 确定所述训练数据中的第一模态的数据的特 征和第二模态的数据的特 征。 7.根据权利要求1的所述方法， 进一步包括： 在所述训练过程中的所述第 一阶段之后的 第二阶段中， 基于所述对比学习模型和所述第二组训练数据确定与所述第二组训练数据相 关联的第二类型的梯度因子； 以及 其中获取所述梯度进一步包括： 基于所述第 一类型的梯度因子和与 所述第二组训练数 据相关联的第二类型的梯度因子， 更新所述梯度。 8.根据权利要求1的所述方法， 进一 步包括： 确定与所述第一组训练数据相关联的丢弃规则， 所述丢弃规则指定在所述训练过程中 应当丢弃的所述对比学习模型中的一组网络节点； 以及 基于所述对比学习模型中的所述一组网络节点以外的其他网络节点， 确定所述第 一类 型的梯度因子和第二类型的梯度因子 。权　利　要　求　书 1/2 页 2 CN 115511105 A 29.根据权利要求2的所述方法， 进一 步包括： 基于如下来获取 所述第一组训练数据： 从所述对比学习模型的训练数据集中获取训练数据的正样本； 确定所述 正样本中的第一模态的第一数据和第二模态的第二数据； 从所述第二模态的数据空间中选择第 二模态的第 三数据， 所述第 三数据不同于所述第 二数据； 以及 基于所述第 一模态的第 一数据和所述第 二模态的第 三数据， 生成所述第 一组训练数据 中的负样本。 10.根据权利要求2的所述方法， 其中所述对比学习 模型描述从所述第一模态的数据到 所述第二模态的数据的正向关联关系。 11.根据权利要求10的所述方法， 其中所述对比学习模型进一步描述从所述第二模态 的数据到所述第一模态的数据的反向关联关系。 12.根据权利要求2的所述方法， 其中所述第一模态包括以下多个模态中的任一项： 图 像、 文本、 视频、 音频， 以及所述第二模态包括所述多个模态中的另一项。 13.一种用于确定对比学习模型的更新梯度的装置， 包括： 第一确定模块， 被配置用于基于用于训练所述对比学习 模型的第 一组训练数据和第 二 组训练数据， 确定所述对比学习模型 的第一类型 的梯度因子， 所述第一类型 的梯度因子在 所述对比学习模型的训练过程中不被用于反向传播； 第二确定模块， 被配置用于在所述训练过程中的第一阶段中， 基于所述对比学习模型 确定与所述第一组训练数据相关联的第二类型的梯度因子， 与所述第一组训练数据相关联 的所述第二类型的梯度因子在所述训练过程中将被用于所述反向传播； 以及 获取模块， 被配置用于基于所述第 一类型的梯度因子和与所述第 一组训练数据相关联 的第二类型的梯度因子， 获取用于更新所述对比学习模型的梯度。 14.一种电子设备， 包括： 至少一个处 理单元； 以及 至少一个存储器， 所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于 由所述至少一个处理单元执行的指 令， 所述指 令在由所述至少一个处理单元执行时使 所述 设备执行根据权利要求1至12中任一项所述的方法。 15.一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器执行 时实现根据权利要求1至12中任一项所述的方法。 16.一种用于数据处 理的方法， 包括： 使用根据权利要求1的所述方法来确定对比学习模型的更新梯度； 基于所述更新梯度来训练所述对比学习模型； 以及 利用训练的所述对比学习模型来确定待处 理样本中的数据之间的关联关系。 17.一种用于数据处 理的装置， 包括： 确定模块， 被配置用于使用根据权利要求13的所述装置来确定对比学习模型的更新梯 度； 训练模块， 被 配置用于基于所述更新梯度来训练所述对比学习模型； 以及 确定模块， 被配置用于利用训练的所述对比学习 模型来确定待处理样本 中的数据之间 的关联关系。权　利　要　求　书 2/2 页 3 CN 115511105 A 3