(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210691998.9 (22)申请日 2022.06.17 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市浦口区宁六路 219号 (72)发明人 宋慧慧　吴泱　张开华　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 田凌涛 (51)Int.Cl. G06V 10/46(2022.01) G06V 10/22(2022.01) G06V 20/70(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图卷积梯度引导的多分支协同显 著性检测方法 (57)摘要 本发明公开了一种基于图卷积梯度引导的 多分支协同显著性检测方法。 在相似度提取分支 中， 我们用CNN提取输入的一组图片的浅层和中 层特征。 在图卷积分支中， 我们用GCN对这组图片 进行特征提取， 剔除背景噪声， 得到平滑的深层 特征。 将此二分支高维特征进行融合， 得到一组 具备鉴别性的共识表示， 再将此共识表示逐次与 组内单张图片特征信息进行融合， 得到一组高维 图像级信息， 利用反向传播中的梯度信息来引导 模型关注具有鉴别性的特征。 我们进一步利用坐 标轴注意力机制， 协助在引导深层信息指导上采 样过程中恢复目标边界， 最终获得协同显著性 图。 本发明的协同显著性检测算法在干扰目标多 样、 背景杂乱的场景中能显著地提高准确性和鲁 棒性。 权利要求书4页 说明书7页 附图4页 CN 115546511 A 2022.12.30 CN 115546511 A 1.一种基于 图卷积梯度引导的多分支协同显著性检测方法， 其特征在于， 基于各个图 片组， 所述各个图片组分别对应一个目标类型， 且图片组中包含目标类型不同前景姿态的 各样本图片； 执行以下步骤A至步骤I， 获得多分支协同显著性检测模型， 之后， 应用多分支 协同显著性检测模型， 获得图片组的目标类型图片。 步骤A： 根据CNN网络， 针对各个图片组， 分别以图片组中的各个样本图片为输入、 各图 片组的底层信息共识特征为输出， 构建浅层和中层特征提取模型； 同时基于CNN网络， 以各 个组图片 中各个单张样本图片为输入、 图片组中各个单张样本图片底层特征为输出， 构建 底层特征提取模型； 步骤B： 根据GCN网络， 针对各个图片组， 分别以图片组中的各个样本图片为输入、 以各 个图片组的高维语义级共识特 征为输出， 构建深层特 征提取模型； 步骤C： 分别以各图片组的底层信息共识特征、 以及各个图片组的高维语义级共识特 征， 为输入、 以各图片组的相似性共识特 征为输出， 构建特 征融合模块； 步骤D： 分别以各图片组的相似性共识特征、 以及图片组中各个单张样本图片底层特征 为输入、 以组图片中各个单张图片高阶特征为输出， 构建高阶特征融合模块； 之后基于各个 单张图片高阶特 征， 计算GCN网络局部反向传播 最后一个图卷积层的各个单张图片正梯度； 步骤E： 以GCN网络局部反向传播最后一个图卷积层的单张图片正梯度、 以及各个图片 组的高维语义级共识特征为输入、 以图片组中各个单张图片诱导后的特征为输出， 构建特 征诱导模块； 步骤F： 以各个单张图片诱导后的特征为输入、 各单张图片的最终特征为输出， 构建坐 标轴注意力模块； 步骤G： 以各单张图片的最终特征、 以及各个单张图片的底层特征 为输入， 以各个 单张图片的目标类型图片为输出， 构建注意力保持模块； 步骤H： 顺序 连接浅层和中层特征提取模型、 底层特征提取模型、 深层特征提取模型、 特 征融合模块、 高阶特征融合模块、 特征诱导模块、 坐标轴注意力模块、 注意力保持模块， 并结 合GCN网络局部反向传播最后一个图卷积层的正梯度， 构建接浅层和中层特征提取模型为 输入端、 以注意力保持模块为输出端、 并且以包含目标类型不同前景姿态的各样本图片为 输入、 该各样本图片对应的各个单张图片的目标类型图片为输出的多分支协同显著 性检测 模型； 步骤I： 基于包含目标类型不同前景姿态的各样本图片、 以及各样本图片对应的各个单 张图片的目标类型图片， 以各样本图片为输入、 目标类型图片为输出针对多分支协同显著 性检测模型进行训练， 获得 各样本图片的目标类型图片。 2.根据权利要求1所述的一种基于图卷积梯度引导的多分支协同显著性检测方法， 其 特征在于， 所述图片组为 n个子图 构成的多尺度图： 其中， 多尺度图的点集定义为 边集定义为ε＝{ εk}， 邻接矩阵定义为A＝∑kAk； 表示由点 构成的 的点集， 表示由 构成的边集， Ak表示的邻接权　利　要　求　书 1/4 页 2 CN 115546511 A 2矩阵， 其内部的Ak(i,j)由对应位置的边的值 表示； 表示 的特征 矩阵， 其中 为点 在dk维的特征； 针对子图 按如下公式： 计算其图结构， 其中， 表示激活函数， 为两个可学习的投影 矩阵， 用于将点特征的维度从dk降至r， 且r＜dk； 然后我们通过像素级相加， 将子图 中所 有的邻接矩阵相加， 得到最终的邻接矩阵： A＝A1+A2+A3+……+An。 3.根据权利要求1所述的一种基于图卷积梯度引导的多分支协显著性检测方法， 其特 征在于， 所述 步骤B中， 深层特 征提取模型按如下公式： 定义两层图卷积网络， 其中， 所述图卷积滤波器定义 为： 其中， 是用于特征投影的两个全连接层的可学习权重矩阵， 可具体表示 为： 其中， I为单位矩阵； 是 的对角度矩阵； Zk为最终的输出 值， 即高维语义级共识特 征。 4.根据权利要求1所述的一种基于图卷积梯度引导的多分支协显著性检测方法， 其特 征在于， 步骤D中， 按如下公式： 计算GCN网络局部反向传播最后一个图卷积层的正梯度， 用于选择 与协同显著目标 相关的特征； 其中， 对于第k张图提取出的特征Zk， 与其共识表示Ck的相似度sk用内积来定 义， 即 5.根据权利要求1所述的一种基于图卷积梯度引导的多分支协显著性检测方法， 其特 征在于， 步骤E中， 构建特 征诱导模块包括如步骤E1至步骤E2: 步骤E1； 通过如下公式： 权　利　要　求　书 2/4 页 3 CN 115546511 A 3