(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211352406.7 (22)申请日 2022.10.31 (71)申请人 北京有竹居网络技 术有限公司 地址 101299 北京市平谷区林荫北街13号 信息大厦802室 (72)发明人 吴昊　周博言　崔权　杨成　 (74)专利代理 机构 北京世辉律师事务所 16 093 专利代理师 罗利娜 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 用于对比学习的方法、 装置、 设备和介质 (57)摘要 本公开的实施例提供了用 于对比学习的方 法、 装置、 设备和介质。 一种用于对比学习的方法 包括： 基于模 型构建准则来确定针对第一模态的 第一编码器和针对第二模态的第二编码器； 构建 第一对比学习模 型， 第一对比学习模 型包括第一 编码器和针对第二模态的第三编码器， 第三编码 器的模型容量大于第二编码器的模 型容量； 基于 针对第一模态和第二模态的第一训练数据集来 执行针对第一对比学习模型的预训练； 以及提供 经预训练的第一对比学习模型中经预训练的第 一编码器， 以用于下游任务。 由于仅在预训练阶 段增大一个编码器的模型容量， 这样可以在提升 模型性能的同时， 还不会增加下游任务微调时的 模型训练开销以及模型应用过程中的模型运行 开销。 权利要求书2页 说明书11页 附图6页 CN 115545220 A 2022.12.30 CN 115545220 A 1.一种用于对比学习的方法， 包括： 基于模型构建准则来确定针对第一模态的第一编码器和针对第二模态的第二编码器； 构建第一对比学习模型， 所述第 一对比学习 模型包括所述第 一编码器和针对第 二模态 的第三编码器， 所述第三编码器的模型容 量大于所述第二编码器的模型容 量； 基于针对所述第一模态和所述第二模态的第一训练数据集来执行针对所述第一对比 学习模型的预训练； 以及 提供经预训练的所述第 一对比学习 模型中经预训练 的所述第 一编码器， 以用于下游任 务。 2.根据权利要求1所述的方法， 其中所述下游任务包括针对第一模态的单模态下游任 务。 3.根据权利要求1所述的方法， 其中所述下游任务包括针对所述第一模态和所述第二 模态的跨模态下游任务。 4.根据权利要求3所述的方法， 其中所述跨模态下游任务基于所述第一编码器和所述 第二编码器， 所述方法还 包括： 构建第二对比学习模型， 所述第 二对比学习 模型包括经预训练 的所述第 一编码器和所 述第二编码器； 以及 基于针对所述第一模态和所述第 二模态的第 二训练数据集， 执行针对所述第 二对比学 习模型的训练。 5.根据权利要求4所述的方法， 其中在所述第 二对比学习 模型的训练中， 经预训练的所 述第一编码器的参数值 不被更新。 6.根据权利要求5所述的方法， 其中在所述第 二对比学习 模型的训练中， 针对经预训练 的所述第一编码器的参数值的梯度回传被阻止 。 7.根据权利要求1至6中任一项所述的方法， 其中所述第 三编码器的模型容量和所述第 二编码器的模型容 量分别基于以下至少一项来确定： 编码器的参数值的量， 编码器的复杂度， 编码器的计算 量。 8.根据权利要求1至6中任一项的所述方法， 其中所述第 一模态包括以下多个模态中的 任一项： 图像、 文本、 视频、 音频， 以及所述第二模态包括所述多个模态中的另一项。 9.一种编码器 应用的方法， 包括： 获取根据权利要求1至8中任一项的方法提供的针对第一模态的第一编码器； 以及 在下游任务中运行 所述第一编码器。 10.一种用于对比学习的装置， 包括： 编码器确定模块， 被配置为基于模型构建准则来确定针对第 一模态的第 一编码器和针 对第二模态的第二编码器； 第一模型构建模块， 被配置为构建第一对比学习模型， 所述第一对比学习模型包括所 述第一编 码器和针对第二模态的第三编 码器， 所述第三编 码器的模型容量大于所述第二编 码器的模型容 量； 预训练模块， 被配置为基于针对所述第 一模态和所述第 二模态的第 一训练数据集来执权　利　要　求　书 1/2 页 2 CN 115545220 A 2行针对所述第一对比学习模型的预训练； 以及 编码器提供模块， 被配置为提供经预训练 的所述第 一对比学习 模型中经预训练 的所述 第一编码器， 以用于下游任务。 11.根据权利要求10所述的装置， 其中所述下游任务包括针对第一模态的单模态下游 任务。 12.根据权利要求10所述的装置， 其中所述下游任务包括针对所述第一模态和所述第 二模态的跨模态下游任务。 13.根据权利要求12所述的装置， 其中所述跨模态下游任务基于所述第一编码器和所 述第二编码器， 所述装置还 包括： 第二模型构建模块， 被配置为构建第二对比学习模型， 所述第二对比学习模型包括经 预训练的所述第一编码器和所述第二编码器； 以及 训练模块， 被配置为基于针对所述第一模态和所述第二模态的第二训练数据集， 执行 针对所述第二对比学习模型的训练。 14.根据权利要求13所述的装置， 其中在所述第 二对比学习 模型的训练中， 经预训练 的 所述第一编码器的参数值 不被更新。 15.根据权利要求14所述的装置， 其中在所述第 二对比学习 模型的训练中， 针对经预训 练的所述第一编码器的参数值的梯度回传被阻止 。 16.根据权利要求10至15中任一项所述的装置， 其中所述第三编码器的模型容量和所 述第二编码器的模型容 量分别基于以下至少一项来确定： 编码器的参数值的量， 编码器的复杂度， 编码器的计算 量。 17.根据权利要求10至15中任一项的所述装置， 其中所述第一模态包括以下多个模态 中的任一项： 图像、 文本、 视频、 音频， 以及所述第二模态包括所述多个模态中的另一项。 18.一种用于编码器 应用的装置， 包括： 编码器获取模块， 被配置为获取根据权利要求1至8中任一项的方法提供的针对第一模 态的第一编码器； 以及 编码器应用模块， 被 配置为在下游任务中应用所述第一编码器。 19.一种电子设备， 包括： 至少一个处 理单元； 以及 至少一个存储器， 所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于 由所述至少一个处理单元执行的指 令， 所述指 令在由所述至少一个处理单元执行时使 所述 设备执行根据权利要求1至8中任一项所述的方法和/或根据权利要求9所述的方法。 20.一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器执行 时实现根据权利要求1至8中任一项所述的方法和/或根据权利要求9所述的方法。权　利　要　求　书 2/2 页 3 CN 115545220 A 3