(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211351695.9 (22)申请日 2022.10.31 (71)申请人 北京有竹居网络技 术有限公司 地址 101299 北京市平谷区林荫北街13号 信息大厦802室 (72)发明人 吴昊　周博言　崔权　杨成　 (74)专利代理 机构 北京世辉律师事务所 16 093 专利代理师 李峥宇 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 用于训练对比学习模型的方法、 装置、 设备 和介质 (57)摘要 提供了用于训练对比学习模型的方法、 装 置、 设备和介质。 在一种方法中， 获取用于训练对 比学习模型的多个样本集， 多个样 本集包括第一 样本集和第二样本集。 按照预定规则， 从第一样 本集和第二样本集中选择第一目标样本集。 按照 预定义的批次大小， 基于第一目标样本集确定第 一组样本。 利用第一组样本来训练对比学习模 型。 以此方式， 一方面， 可以避免由于样本集偏置 导致的对比学习模型性能下降； 另 一方面， 可 以 缓解训练过程中的遗 忘问题。 权利要求书3页 说明书14页 附图7页 CN 115511104 A 2022.12.23 CN 115511104 A 1.一种用于训练对比学习模型的方法， 包括： 获取用于训练所述对比学习 模型的多个样本集， 所述多个样本集包括第 一样本集和第 二样本集； 按照预定规则， 从所述第一样本集和所述第二样本集中选择第一目标样本集； 按照预定义的批次大小， 基于所述第一目标样本集确定第一组样本； 以及 利用所述第一组样本来训练所述对比学习模型。 2.根据权利要求1的所述方法， 其中所述预定规则包括以下任一项： 随机选择规则、 轮 询选择规则、 基于样本数量的选择规则。 3.根据权利要求1的所述方法， 其中按照基于样本数量的选择规则来选择所述目标样 本集包括： 分别基于所述第一样本集的第 一样本数量和所述第 二样本集的第 二样本数量， 确定所 述第一样本集的第一权 重和所述第二样本集的第二权 重； 以及 基于所述第一权 重和所述第二权 重， 选择所述目标样本集。 4.根据权利要求3的所述方法， 其中基于所述第 一权重和所述第 二权重， 选择所述目标 样本集包括： 基于与所述第一权重和第二权重相关联的分布函数， 从所述第一样本集和所 述第二样本集中选择目标样本集。 5.根据权利要求1的所述方法， 其中所述第一样本集和所述第二样本集中的样本包括 第一模态的数据、 第二模态的数据、 以及表示所述第一模态的数据与所述第二模态的数据 之间的关联关系的标签。 6.根据权利要求5的所述方法， 其中从所述第一目标样本集中确定所述第一组样本包 括： 从所述第一目标样本集中选择正样本， 所述正样本 中的标签指示所述正样本中的第 一 模态的数据和第二模态的数据之间具有关联关系； 以及 基于所述正样本中的所述第一模态的数据和所述第一目标样本集中的所述第二模态 的数据来 生成负样本； 以及 基于所述 正样本和所述负 样本来生成所述第一组样本 。 7.根据权利要求6的所述方法， 其中生成所述负 样本包括： 从所述第一目标样本集中的第二模态的数据空间中选择第二模态的另一数据； 以及 基于所述正样本 中的所述第 一模态的数据和所述第 二模态的另一数据， 生成所述负样 本， 所述负样本中的标签指示所述负样本中的第一模态的数据和所述第二模态的另一数据 之间不具有关联关系。 8.根据权利要求6的所述方法， 其中训练所述对比学习模型包括： 针对所述第 一组样本 中的所述 正样本， 利用所述对比学习模型来分别确定所述正样本中的所述第一模态的数据的第一特征 和所述第二模态的数据的第二特 征； 基于所述第 一特征和所述第 二特征之间的差异确定所述对比学习 模型的损失函数； 以 及 朝向使得 所述损失函数减小的方向更新所述对比学习模型。 9.根据权利要求8的所述方法， 其中确定所述第 一特征和所述第 二特征包括： 分别利用权　利　要　求　书 1/3 页 2 CN 115511104 A 2所述对比学习模型中的第一编 码器和第二编码器来确定所述第一特征和所述第二特征， 所 述第一编 码器描述所述第一模态的数据与所述第一模态的数据的特征之间的关联关系， 以 及所述第二编码器描述所述第二模态的数据与所述第二模态的数据的特征之间的关联关 系。 10.根据权利要求6的所述方法， 其中训练所述对比学习模型包括： 针对所述第一组样 本中的所述负 样本， 利用所述对比学习模型来分别确定所述负样本中的所述第一模态的数据的第一特征 和所述第二模态的数据的第二特 征； 基于所述第 一特征和所述第 二特征之间的差异确定所述对比学习 模型的损失函数； 以 及 朝向使得 所述损失函数增大的方向更新所述对比学习模型。 11.根据权利要求5的所述方法， 其中所述第一模态包括以下多个模态中的任一项： 图 像、 文本、 视频、 音频， 以及所述第二模态包括所述多个模态中的另一项。 12.根据权利要求5的所述方法， 进一 步包括： 从所述第一样本集和所述第二样本集中选择第二目标样本集； 按照预定义的批次大小， 基于所述第二目标样本集确定第二组样本； 以及 利用所述第二组样本来训练所述对比学习模型。 13.根据权利要求12的所述方法， 其中确定所述第二组样本包括： 从所述第二组样本中的未被使用的正样本中选择正样本； 基于所述 正样本和所述第二目标样本集的第二模态的数据来 生成负样本； 以及 基于所述 正样本和所述负 样本来确定所述第二组样本 。 14.根据权利要求12的所述方法， 其中选择所述第一目标样本集独立于选择所述第二 目标样本集， 并且所述第一目标样本集 不同于所述第二目标样本集。 15.一种用于训练对比学习模型的装置， 包括： 获取模块， 被配置用于获取用于训练所述对比学习模型的多个样本集， 所述多个样本 集包括第一样本集和第二样本集； 选择模块， 被 配置用于从所述第一样本集和所述第二样本集中选择第一目标样本集； 确定模块， 被配置用于按照预定义的批次大小， 基于所述第一目标样本集确定第一组 样本； 以及 训练模块， 被 配置用于利用所述第一组样本来训练所述对比学习模型。 16.一种电子设备， 包括： 至少一个处 理单元； 以及 至少一个存储器， 所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于 由所述至少一个处理单元执行的指 令， 所述指 令在由所述至少一个处理单元执行时使 所述 设备执行根据权利要求1至14中任一项所述的方法。 17.一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器执行 时实现根据权利要求1至14中任一项所述的方法。 18.一种用于数据处 理的方法， 包括： 使用根据权利要求1的所述方法来训练所述对比学习模型； 以及权　利　要　求　书 2/3 页 3 CN 115511104 A 3