(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210160668.7 (22)申请日 2022.02.22 (71)申请人 南京大学 地址 210008 江苏省南京市 鼓楼区汉口路 22号 (72)发明人 杨若瑜　李一凡　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 胡建华 (51)Int.Cl. G06V 20/00(2022.01) G06V 40/10(2022.01) G06V 10/26(2022.01) G06V 10/42(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于熵一致性的弱监 督目标定位方法 (57)摘要 本发明公开了一种基于熵一致性的弱监督 目标定位方法， 包括： 训练阶段： 步骤1， 将含类别 标注的训练集图片输入神经网络， 生成四层特征 图， 分别计算分类损失； 步骤2， 由四层特征图得 到融合特征图， 计算分类损失； 步骤3， 将四层特 征图和融合特征图分别生成熵特征图以及融合 熵特征图； 步骤4， 融合熵特征图分别 与四层熵特 征图计算前景背景分离损失； 步骤5， 将四层熵特 征图分别和融合熵特征图计算熵 一致性损失； 步 骤6， 使用分类损失、 分离损失、 熵一致性损失更 新神经网络； 测试阶段： 步骤7， 将无标注图片输 入到经过训练的网络， 获得融合熵特征图以及融 合特征图； 步骤8， 通过融合特征图获得图片类 别； 步骤9， 通过融合熵特 征图获得目标的位置 。 权利要求书3页 说明书6页 附图1页 CN 114549957 A 2022.05.27 CN 114549957 A 1.一种基于熵一 致性的弱监 督目标定位方法， 其特 征在于， 包括以下步骤： 训练阶段： 步骤1， 将包括图片和类别标注 的训练集图片输入卷积神经网络， 生成四层特征图， 分 别计算分类损失； 步骤2， 将步骤1中得到的四层特 征图进行 特征融合得到融合特 征图， 计算分类损失； 步骤3， 将步骤1中得到的四层特征图和步骤2中得到的融合特征图分别生成四层熵特 征图以及一层融合熵特 征图； 步骤4， 一层融合熵特 征图分别和四层熵特 征图计算前 景背景分离损失； 步骤5， 将步骤3中得到的四层熵特 征图分别和一层融合熵特 征图计算熵一 致性损失； 步骤6， 使用步骤1和步骤2中得到的分类损失以及步骤4和步骤5中得到的前景背景分 离损失和熵一 致性损失， 更新卷积神经网络； 测试阶段： 步骤7， 将无标注图片输入到经过训练 阶段训练的卷积神经网络， 获得融合熵特征图以 及融合特 征图； 步骤8， 通过步骤7中得到的融合特 征图获得图片类别； 步骤9， 通过步骤7中得到的融合熵特 征图获得图片中目标的位置 。 2.根据权利要求1所述的一种基于熵一致性的弱监督目标定位方法， 其特征在于， 步骤 1中所述生成四层特 征图的方法包括： 采用卷积神经网络VGG16， 将图片输入该卷积神经网络， 依次得到下采样比例为4， 8， 16， 16的特征图作为 四层特征图， 通过卷积层将四层特征图通道数变为为C0， 其中C0为类别 数目。 3.根据权利要求2所述的一种基于熵一致性的弱监督目标定位方法， 其特征在于， 步骤 2中所述的融合特 征图获得 方法包括： 设特征图Xm， 其中1≤m≤4， 代表4个特征图中的第 m个， 其大小为Hm×Wm×C0， 其中， Hm为 第m个特征图的高， Wm为第m个特 征图的宽； 进行双线 性插值将4个特征图大小统一变为Hf×Wf×C0， 其中， Hf为四个特征图中最大的 高， Wf为四个特 征图中最大的宽； 四个统一大小之后的特 征图相加得到融合特 征图Xf， 大小为Hf×Wf×C0。 4.根据权利要求3所述的一种基于熵一致性的弱监督目标定位方法， 其特征在于， 步骤 3中生成熵特 征图方法包括： 对于大小为H×W×C0的特征图X， 其中H是特征图的高， W是特征图的宽， 生成大小 为H×W ×1的熵特征图Y， 过程包括： 设特征图X上的每个元素为xi， j， k， 其中1≤i≤ H， 1≤j≤W， 1≤k≤ C0； 设： 其中， Si， j， k是计算Yi， j的中间变量， 得到：权　利　要　求　书 1/3 页 2 CN 114549957 A 2其中， Yi， j是熵特征图Y中位置(i， j)处的值； 最终得到熵特 征图Y。 5.根据权利要求4所述的一种基于熵一致性的弱监督目标定位方法， 其特征在于， 步骤 3中所述生成一层融合熵特征图方法包括： 对步骤3中获得的四层熵特征图， 采用步骤2中所 述的融合特 征图获得 方法， 得到一层融合熵特 征图。 6.根据权利要求5所述的一种基于熵一致性的弱监督目标定位方法， 其特征在于， 步骤 4中所述计算前 景背景分离损失的方法包括： 设大小为H ×W×1的熵特征图Y上每 个元素为yi， j， 其中1≤i≤ H， 1≤j≤W； 得到前景背景损失Lfb为： 根据得到的前 景背景分离损失Lfb， 通过反向传播方法更新卷积神经网络中的参数。 7.根据权利要求6所述的一种基于熵一致性的弱监督目标定位方法， 其特征在于， 步骤 5中所述计算熵一 致性损失方法包括： 设熵特征图Ym， 其中1≤m≤4， 代表4个熵特征图中的第m个， 其大小为Hm×Wm×1， 每个元 素为yi， j， m； 设融合熵特征图Yf大小为Hf×Wf×1， 每个元素为yi， j； 分别将熵特征图Ym上采样到和融 合熵特征图Yf大小一致； 得到熵一 致性损失Lc为： 根据得到的熵一 致性损失Lc， 通过反向传播方法更新卷积神经网络中的参数。 8.根据权利要求7所述的一种基于熵一致性的弱监督目标定位方法， 其特征在于， 步骤 1和步骤2中所述的计算分类损失方法包括： 对于大小为H×W×C0的特征图X经过卷积层经过全局平均池 化操作后得到的特征图Z上 的每个元素为zk， 其中1≤k≤ C0； 设大小为C0的向量G， G中每个元素为gk， 其真实类别对应元素为1， 其余位置为零， 计算 置信度qk： 其分类损失Lcls为： 根据分类损失Lcls， 通过反向传播方法更新卷积神经网络中的参数； 所述全局平均池化操作方法包括：权　利　要　求　书 2/3 页 3 CN 114549957 A 3