(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210700950.X (22)申请日 2022.06.20 (71)申请人 桂林电子科技大 学 地址 541000 广西壮 族自治区桂林市七 星 区金鸡路1号 (72)发明人 许亦博　 (74)专利代理 机构 深圳市诺正鑫泽知识产权代 理有限公司 4 4689 专利代理师 彭佳伟 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/42(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于乐高采样策略的自监督表示学习方法 及电子设备 (57)摘要 本发明涉及一种基于乐高采样策略的自监 督表示学习方法及电子设备， 包括采用乐高采样 形成第二数据集， 所述第二数据集经过特征提取 模块的提取， 生成多个特征向量； 将所述特征向 量经过混合优化模块后得到基于所述第一图片 样本的综合损失函数， 根据所述综合损失函数调 整自监督学习模 型参数。 本发明采用乐高采样增 加了图片补丁的样本数量， 还能促使模型学习更 多的细节信息， 在应对不同形状， 不同尺寸的全 局特征， 难以辨识的细 节特征时能更好的激活相 对应的区域， 本发明提出方法的鲁棒性和对细 节 特征的提取能力更好， 并且在下游线性分类、 目 标检测等任务中获得更好的分类准确率和检测 平均精度， 且具有较好的视 觉效果。 权利要求书2页 说明书7页 附图4页 CN 115294348 A 2022.11.04 CN 115294348 A 1.一种基于乐高采样策略的自监 督表示学习方法， 其特 征在于， 包括： 乐高采样， 所述 乐高采样包括以下步骤： 1)从第一数据集中选取n个第一图片样本， 将每个所述第一图片样本拆分成m个a ×a大 小的图片补丁， 以获取n*m个所述图片补丁； 2)随机选取四个所述图片补丁拼接成一个2a ×2a的第二图片样本， 多个所述第二图片 样本生成第二数据集； 所述第二数据集经 过特征提取模块的提取， 生成m个特 征向量； 所述特征向量经过混合优化模块后得到基于所述第 一图片样本的综合损失函数， 根据 所述综合损失函数调整自监 督学习模型参数。 2.根据权利要求1所述的自监督表示学习方法， 其特征在于， 所述将每个所述第 一图片 样本拆分成m个a ×a大小的图片补丁的步骤 包括： 将每个所述第一 图片样本拆分成p个矩阵排列的第一图片补丁， 其中p＝x*y， x为矩阵 排列的行 数， y为矩阵排列的列数， 且p<m， 每相邻的四个所述第一图片补丁作为 一个2×2的图片补丁 块， 基于至少一个所述图片补丁 块生成一个a ×a大小的第二图片补丁。 3.根据权利要求1所述的自监 督表示学习方法， 其特 征在于： 所述特征提取模块采用ResNet ‑50网络， 所述网络包含四个阶段， 每个阶段中卷积块的 数量分别是3、 4、 6和3 。 4.根据权利要求3所述的自监督表示学习方法， 其特征在于： 每个所述卷积块包含一个 1*1通道下降的卷积， 一个通道不变的3 *3卷积和一个1*1通道数 上升的卷积。 5.根据权利要求2所述的自监 督表示学习方法， 其特 征在于： 所述混合优化模块包括全局聚类分支， 全局定位分支和 局部细节对比分支； 其中， 所述全局聚类分支采用信息 ‑噪声对比估计， 用于将所述第二数据集中的数据聚类； 所述全局定位分支采用交叉熵损失函数进行优化， 将所述第 二数据集中打乱的图片补 丁的位置信息恢复至该图片补丁在所述第一数据集中的原 始位置信息； 所述局部细节对比分支将所述乐高采样 的每相邻的四个所述第一图片补丁生成特征 向量的加权平均与该四个所述第一图片补丁对应的第二图片补丁生成的特征向量进行对 比。 6.根据权利要求5所述的自监督表示学习方法， 其特征在于， 将所述第 二数据集中的数 据聚类的具体步骤 包括： 将第一图片样本中目标对象分组， 将每个样本的采样结果聚类到一起， 最大化正负样本之间的距离， 同时最小化正正样 本之间的距离， 其中， 来自于同一个目标对象的采样结果视为正样本， 来自不同目标对象的采样结果视为负 样本。 7.根据权利要求5所述的自监 督表示学习方法， 其特 征在于： 所述全局聚类分支的损失函数为：权　利　要　求　书 1/2 页 2 CN 115294348 A 2其中， ls表示针对某一个特 征向量的损失函数； 所述全局定位分支的损失函数为： Lloc＝CE(C,Cgt) (2) 其中， CE(x， y)为交叉熵损失函数， C表示经过特征提取后的特征向量集合， Cgt表示根据 特征向量的相应位置生成的伪标签； 所述局部细节对比分支的损失函数为： Lcon＝CON(Vi,Vh) (3) 其中， CON(Vi,Vh)为对比损失函数， Vi表示前m‑1个图片补丁生成特征向量的加权平均， Vh表示第m个图片补丁 生成的特 征向量。 8.根据权利要求7 所述的自监 督表示学习方法， 其特 征在于， 所述针对某一个特 征向量的损失函数表示如下： 式中ls,j表示信息 ‑噪声对比估计损失函数。 9.根据权利要求7 所述的自监 督表示学习方法， 其特 征在于， 所述综合损失函数为： L＝Lclu+α Lloc+β Lcon (5) 其中， α 和β 分别为所述全局定位分支和所述局部细节对比分支的权 重超参数。 10.一种电子设备， 其特征在于， 包括存储器和处理器， 所述处理器用于执行所述存储 器中存储的自监督表示学习模型， 以实现权利要求1 ‑9中任意一项所述的自监督表示学习 方法。权　利　要　求　书 2/2 页 3 CN 115294348 A 3