(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210671735.1 (22)申请日 2022.06.14 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 街200号 申请人 北京空间飞行器总体设计 部 (72)发明人 王丹　穆京京　李源源　崔振　 许海燕　高阳特　 (74)专利代理 机构 北京圣州专利代理事务所 (普通合伙) 11818 专利代理师 李春 (51)Int.Cl. G06N 20/00(2019.01) G06V 10/25(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于迭代优化的局部感知 图表示学习 方法 (57)摘要 本发明公开了一种基于迭代优化的局部感 知图表示学习方法， 在每次迭代过程中， 通过将 全局统计标签图和个体标签分布图进行融合， 为 每个图像样 本动态地构建不同的标签图， 实现标 签节点之间相关性的自适应。 对每个图像学习特 定的节点特征表示， 同时利用过去的预测结果作 为指导， 来预测图像的多标签。 并且， 在迭代优化 的模型框架中， 通过构建重复的网络模块， 实现 了多标签预测结果的从粗糙到精细的优化过程。 本发明采用上述的一种基于迭代优化的局部感 知图表示学习方法， 可以实现更加鲁棒的多 标签 预测。 权利要求书3页 说明书9页 附图1页 CN 115392474 A 2022.11.25 CN 115392474 A 1.一种基于迭代优化的局部感知图表示学习方法， 其特 征在于， 步骤如下： S1、 把待预测的图片集 合和一个随机初始化的多标签集 合输入到网络 框架中； S2、 进行循环迭代地优化多标签预测结果； 在每个模块中， 优化多标签预测结果的过程包括基于变分推理的显著性区域选择、 局 部依赖性的标签相关性矩阵构建、 图的特征学习、 基于历史信息指导的全局/局部 分支的联 合学习。 2.根据权利要求1所述的一种基于迭代优化的局部感知图表示学习方法， 其特征在于： 步骤S1中， 多标签预测框架中包含了多个结构一致的多标签优化卷积网络模块， 其中每个 模块输入前一个模块预测的多标签结果以及待预测的图片， 然后预测一个更加准确的结 果。 3.根据权利要求1所述的一种基于迭代优化的局部感知图表示学习方法， 其特征在于： 步骤S2中， 每个多 标签优化模块包括全局分支和局部 分支， 在两个分支之后， 还通过一个融 合过程来综合两个分组的预测结果， 具体如下； a、 全局分支的特征提取方法： 全局分支上， 使用预训练的模型来提取图像的高维特征； 并且在第一个多标签优化模块中， 预训练模型的参数固定， 而其他模块中， 预训练模型参数 也和其他网络组件一 起训练； b、 局部分支的特 征提取方法： (1)使用RPN模块来检测出当前 图像的若干个感兴趣区域ROIs， 并提取该区域的特征； 对于输入的图像Mi， 首先通过RPN检测到多个ROIs， 选取出与多标签分类任务相关性较好、 数量固定的区域作为显著性区域， 舍弃剩余的相关性较弱的冗余区域； (2)使用变分推理模块对各个区域学习自适应的多标签任务相关性权重； 对各个区域 根据权重大小进行降序排序， 选择固定数量区域， 并将选取 的区域特征和学习到的权重进 行相乘， 进 而通过局部标签相关性矩阵模块， 生成显著性区域特 征； (3)根据显著性区域的特征， 生成当前图像特有的个体标签分布特征， 并将其与统计标 签分布特 征进行融合， 构造出依赖局部感知的多标签分布特 征； (4)将构造出的标签分布特 征通过图的表示学习获取判别性更高的节点特 征； c、 在使用历史多标签预测结果的指导下， 通过联合学习模块将全局分支与局部分支的 结果进行融合， 预测图像中存在的物体多标签。 4.根据权利要求1所述的一种基于迭代优化的局部感知图表示学习方法， 其特征在于， 基于变分推理的显著性 生成过程如下： (1)对于输入的 图像Mi， 首先通过RPN检测到多个ROI s， 选取出与多标签分类任 务相关性 较好、 数量固定的区域作为显著性区域， 舍弃剩余的相关性较弱的冗余区域； (2)建模区域和多标签分类任务之间复杂的条件分布p(ti|Li,si)， 通过变分推理的方 法来为区域学习自适应的权重因子， 其中si为第i个图像 真实的标签向量， 是第i 个图像上检测出的Ki个区域特征， 是相关性向量， 每个元素tij表示第j个区域与 任务的相关性； 将ti进行降序处理， 根据降序后的索引， 选取出对应的N个固定数量的区域， 将前N个最 大的相关性权重与对 应的区域特征进行相乘， 生成显著性区域的特征Vi＝[vi1,...,viN]， 公权　利　要　求　书 1/3 页 2 CN 115392474 A 2式如下： vij＝tij×lij,j∈S,  (1) 其中， S为选取 出的N个区域的索引集 合； (3)在选取显著性区域的过程中， 通过qφ(ti|Li,si)来近似后验分布p(ti|Li,si)， 使用 KL散度来评估qφ(ti|Li,si)和p(ti|Li,si)之间的分布差异性； 重新推导变分下界(Variati onal Lower Bound,VLB)Bvlb(Li,si,φ)， 即： 设置qφ(ti|Li,si)＝qφ(ti|Li)， p(ti|Li):N(0,I)， 通过重参数化技巧使 得ti符合高斯分 布， 即： (4)基于变分推理的结果， 对每个图像自适应地选取出N个显著性区域， 并获取对应的 加权后的区域特征Vi＝[vi1,...,viN]； 将每个显著性区域特征vij转化为标签总个数C维的 向量， 使得从维度上可以将 显著性特征视为其粗糙的标签预测分数， N个显著 性区域的特征 5.根据权利要求1所述的一种基于迭代优化的局部感知图表示学习方法， 其特征在于， 基于局部依赖的标签相关性矩阵预测多标签分布特 征的生成流 程如下： (1) 基于学习到的个体LCM和由 训练数据获取的统计LCM构建LD_LCM ， 通过公式(4)计算获取： 其中， AC和 分别表示统计的LC M和第i个图像的个 体LCM， e表示元 素点乘； (2)对于统计LCMAC， 首先通过统计训练集中各个标签共同出现在同一幅图像中的次数， 然后基于此信息计算出标签出现的条件概率矩阵， 即一个标签出现的情况下， 另外一个标 签出现的概率； 对于个体 根据获取的显著性区域特征Vi， 按照公式 计算生成； 考虑到Vi中的每一列 表示对应显著性区域在各个标签上粗糙的预测分数， 则 的每个元素视为第i个图像中两个标签共现的概 率。 6.根据权利要求1所述的一种基于迭代优化的局部感知图表示学习方法， 其特征在于， 图的特征学习中， 通过构建局 部标签相关性进行图的表示学习， 即使用LD_LCM作为图的邻 接矩阵， 实现在全局分支和 局部分支上的标签感知， 流 程如下： (1)对于图的表示学习， 采用GCN方法来学习节点， 其中， 定义在第l层上的输入 的特征 记为F(l)， 对应的邻接矩阵为A， GCN可以被公式化 为如下的非线性 函数： 其中， W(l)是第l层上用于空间投影的学习参数， r是归一化标量， 数值大小为节点的个 数， 选择ReLU( ·)为非线性激活函数； (2)对于标签图和显著性区域 图， 均使用GCN来更新特征； 具体来说， 对于标签图， 将每权　利　要　求　书 2/3 页 3 CN 115392474 A 3