(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210166807.7 (22)申请日 2022.02.23 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 张新钰　李骏　杨磊　王力　蒋涵　 吴新刚　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 张建纲 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于自监督对比学习的目标检测方法 及系统 (57)摘要 本发明公开了一种基于自监督对比学习的 目标检测方法， 所述方法包括： 将采集的待检测 图像输入预先建立和训练好的目标检测模型， 得 到目标检测结果； 在所述目标检测模 型的训练环 节引入自监督对比损失函数， 引导目标检测模型 学习高层场景语义信息。 本发明采用的孪生组合 数据增强方法能够有效地针对自监督学习方法 扩充原有的数据集， 提升模型对于数据中干扰噪 声的鲁棒性； 本发明实现的自监督模块通过目标 网络和在 线网络的对比学习， 可引导模型学习高 层次的语义信息， 提升目标检测网络的检测精 度。 权利要求书2页 说明书6页 附图2页 CN 114549985 A 2022.05.27 CN 114549985 A 1.一种基于自监 督对比学习的目标检测方法， 所述方法包括： 将采集的待检测图像输入预 先建立和训练好的目标检测模型， 得到目标检测结果； 在所述目标检测模型的训练环节引入自监督对比损失函数， 引导目标检测模型学习高 层场景语义信息 。 2.根据权利要求1所述的基于自监督对比学习的目标检测方法， 其特征在于， 所述目标 检测模型包括串联的骨干网络、 检测头和后处 理模块， 其中， 所述骨干网络， 用于提取待检测图像的特征， 所述骨干网络包括编码器和解码器， 编码 器为特征提取网络； 所述检测头， 用于进行目标类别预测 和检测框参数的回归； 所述后处理模块， 用于解析来自检测头的预测值得到检测结果， 所述检测结果包括目 标类别和2D/ 3D目标框 。 3.根据权利要求2所述的基于自监督对比学习的目标检测方法， 其特征在于， 所述方法 还包括目标检测模型的训练步骤， 具体包括： 步骤s1)建立原 始图像数据集； 步骤s2)对原始图像数据集进行预处理， 得到同时集成像素级数据增强和孪生组合数 据增强的图像数据对； 步骤s3)依次将预处理后的一个孪生图像数据对分别输入目标检测模型和自监督模 块， 通过输出的自监督对比损失函数引导目标检测模型的参数更新； 重复该步骤， 直至满足 训练要求， 得到训练好的目标检测模型。 4.根据权利要求2所述的基于自监督对比学习的目标检测方法， 其特征在于， 所述步骤 s2)具体包括： 基于原始图像数据集， 通过贴图的方式， 得到背景不同且检测目标相同的孪生图像对； 对每个孪生图像对的两个图像分别以不同的概率进行色调、 亮度、 对比度和饱和度的 像素级数据增强， 从而得到像素级数据增强的孪生图像数据对。 5.根据权利要求3所述的基于自监督对比学习的目标检测方法， 其特征在于， 所述步骤 s3)的自监 督模块包括目标网络、 第一投影头、 预测头和第二投影头； 其中， 所述目标网络与目标检测模型的骨干网络结构相同且具有相同的初始化参数， 目标网 络的输出与第二投影头连接； 骨干网络的输出依次连接第一投影头和预测头； 第一投影头、 第二投影头和预测头的 结构均相同， 为两层MLP。 6.根据权利要求5所述的基于自监督对比学习的目标检测方法， 其特征在于， 所述第 一 投影头的输入为单一尺度特 征图或多尺度融合之后的特 征图。 7.根据权利要求6所述的基于自监督对比学习的目标检测方法， 其特征在于， 所述步骤 s3)的依次将预处理后的一个孪生图像数据对分别输入目标检测模型和自监督模块， 通过 输出的自监 督对比损失函数引导目标检测模型的参数 更新； 具体包括： 将一个孪生图像数据对的两幅图像分别输入目标检测模型的骨干网络和自监督模块 的目标网络， 计算得到均方误差 调换该孪生图像数据对的两幅图像分别输入骨干网络和目标网络， 计算得到交换后的权　利　要　求　书 1/2 页 2 CN 114549985 A 2均方差 根据下式得到自监 督对比损失函数 为： 根据 反向传播随机梯度下降更新骨干网络的参数， 根据骨干网络更新后的参数对 目标网络的参数进行动量更新。 8.根据权利要求7所述的基于自监督对比学习的目标检测方法， 其特征在于， 所述将一 个孪生图像数据对的两幅图像分别输入目标检测模型的骨干网络和自监督模块的目标网 络， 计算得到均方误差 具体包括： 对骨干网络输出的特征图qθ(zθ)和目标网络输出的特征图z ′ξ分别进行归一化操作， 得 到 和 其中， θ和 ξ 分别表示骨干网络和目标网络的参数集 合； 计算 和 的均方误差 其中， ||·||2表示二阶范数。 9.一种基于自监督对比学习的目标检测系统， 其特征在于， 所述系统包括： 结果输出模 块和目标检测模型， 其中， 所述结果输出模块， 用于将采集的待检测图像输入预先建立和训练好的目标检测模 型， 得到目标检测结果； 在所述目标检测模型的训练环节引入自监督对比损失函数， 引导目标检测模型学习高 层场景语义信息 。权　利　要　求　书 2/2 页 3 CN 114549985 A 3