(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210756626.X (22)申请日 2022.06.30 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 吴庆耀　苏宇堃　孙瑞洲　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/10(2017.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/762(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于联合图分割的自监督目标定位方法、 系 统、 设备及 介质 (57)摘要 本发明公开了基于联合图分割的自监督目 标定位方法、 系统、 设备及介质， 方法包括： 获取 无标签图片， 使用几何变换获得图像对； 构建自 监督目标定位模 型； 所述自监督目标定位模型包 括主干网络、 联合图分割模块、 卷积网络及 Softmax分类器； 将图像对输入主干网络中， 提取 语义特征对； 将语义特征对输入 联合图分割模块 中， 得到突出显示共享前景目标的掩码对； 将掩 码对和语义特征对共同输入卷积网络中， 在图像 对上训练卷积网络， 再经过Softmax分类器进行 目标定位。 本发明将孪生网络作为主干网络， 通 过引入联合图分割模块， 解决了同一图片不同几 何变换下激活区域不一致的问题， 增强了对象 的 共并发区域； 同时以自监督学习方式训练模型， 提升了目标定位的性能及准确率。 权利要求书3页 说明书9页 附图2页 CN 115239808 A 2022.10.25 CN 115239808 A 1.基于联合图分割的自监 督目标定位方法， 其特 征在于， 包括下述 步骤： 获取无标签图片， 使用几何变换获得图像对； 构建自监督目标定位模型； 所述自监督目标定位模型包括主干网络、 联合图分割模块、 卷积网络及Softmax分类器； 所述主干网络为共享权值的孪生网络， 包括第一主干网络和第 二主干网络； 所述联合图分割模型的参数 可学习； 将图像对输入自监 督目标定位模型的主干网络中， 提取语义特 征对； 将语义特征对输入自监督目标定位模型的联合图分割模块中， 得到突出显示共享前景 目标的掩码对； 将掩码对和语义特征对共同输入卷积网络中， 在图像对上训练卷积网络， 再经过 Softmax分类 器进行目标定位。 2.根据权利要求1所述的基于联合图分割的自监督目标定位方法， 其特征在于， 所述无 标签图片是指获取 的图片没有图像级标签和像素级别掩码标签； 所述几何变换包括缩放、 旋转、 翻转和对称； 所述无标签图片I经过几何变换后获得的图像对表示为(I1,I2)； 所述图 像对为无 标签图片、 几何变换后图片的随机组合； 所述主干网络为预训练好的VG G16分类网络 。 3.根据权利要求2所述的基于联合图分割的自监督目标定位方法， 其特征在于， 所述提 取语义特 征对， 具体为： 将图像对输入主干网络中进行语义特征提取， 获得语义特征对 其中 w为语义特 征的宽度， h为语义特 征图的高度， c为语义特 征的维度； 所述第一主干网络对图像对中的I1进行语义特 征提取： F1＝Backbo ne1(I1) 其中， 表示图像对中的I1的语义特 征， Backbo ne1为第一主干网络； 所述第二主干网络对图像对中的I2进行语义特 征提取： F2＝Backbo ne2(I2) 其中， 表示图像对中的I2的语义特 征， Backbo ne2为第二主干网络 。 4.根据权利要求3所述的基于联合图分割的自监督目标定位方法， 其特征在于， 所述得 到突出显示共享前 景目标的掩码对， 具体为： 将语义特征对输入联合图分割模块中， 对于输入的语义特征对 将语 义特征对视作一个图G(V,E)， 其中V 代表图G中的节点， E表示图G中节点的边； 已知图G中有2wh个节点 则图G的邻接矩阵 图G的度 矩阵 构建联合图分割模块的初始损失函数： 式中， RatioCut为谱聚类函数， k表示语义特征中前景目标O和背景 Vi,…,Vk表示图G 中节点V的子集；权　利　要　求　书 1/3 页 2 CN 115239808 A 2引入子图指标 计算公式为： 由于度矩阵D是对角矩阵， 结合拉普拉斯矩阵性质， 将子图指标嵌入初始损失函数Lm*， 得到联合图分割模块的目标损失函数： Lm＝hT(D‑A)h 其中， hT为子图指标的转置； 使用目标损失函数对联合图分割模块进行优化， 得到突出显示共享前景目标的掩码对 5.根据权利要求4所述的基于联合图分割的自监督目标定位方法， 其特征在于， 所述结 合拉普拉斯矩阵性质， 将子图指标嵌入初始损失函数Lm*， 得到联合图分割 模块的目标损失 函数的过程 为： 将邻接矩阵带入初始化损失函数中， 进行变换 得： 其中， 为语义特征中的前景目标， 为语义特征中的背景， Am,n表示图G的邻接矩阵中 某一元素； 根据来拉斯矩阵性质， 将子 图指标嵌入初始化函数中， 得到联合图分割模块的目标损 失函数： 其中， hT为子图指标的转置 。 6.根据权利要求4所述的基于联合图分割的自监督目标定位方法， 其特征在于， 所述卷 积网络包括卷积层 及CAAM层； 将掩码对 和语义特征对 共同输入 卷积网络中， 在图 像对(I1,I2)上对卷积网络进行训练， 并在卷积网络最后一层CAAM层使用全局平均池化得到 特征图对 使用等变正则化构建卷积网络的损失函数： LER＝||P1‑P2|| 将特征图对输入Softmax分类器中， 获得类别标签对， 使用交叉熵分类函数构 建分类损 失函数， 并采用梯度下降法进行优化； 所述分类损失函数为： Lcls＝CrossEntroy(N(Ti(I),yi)) 其中， N()为Softmax分类器的参数， Ti(I)为无标签图片或者 经过几何变换后的图片， yi 为图像对中某一图像对应的类别标签； 得到自监 督目标定位模型的总损失函数为： Ltotal＝Lcls+LER+Lm。权　利　要　求　书 2/3 页 3 CN 115239808 A 3