(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111654905.7 (22)申请日 2021.12.3 0 (71)申请人 安徽理工大 学 地址 232001 安徽省淮南市山 南新区泰丰 大街168号 (72)发明人 孙延光　夏晨星　段秀真　段松松　 (51)Int.Cl. G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 聚合密集和注意力多尺度特征的显著性目 标检测算法 (57)摘要 本发明属于计算机视觉领域领域， 提供了一 种聚合密集和注意力多尺度特征的显著性目标 检测算法， 包括以下步骤： 首先， 利用预训练好的 ResNet‑50网络作为特征编码器从输入图像中提 取初始多层次特征； 随后， 初始多层次特征通过 深层稠密特征探索模块通过平行集成卷积块和 稠密连接充分地提取和利用多尺度上下文信息 增强特征的多样性和相关性； 之后， 优化后的多 层次特征输入多尺度通道注意力强化模块通过 集成多视角注意力特征强化通道中显著性目标 信息和压缩背景来生成高质量特征表示； 最后， 生成的高质量特征表示进行降维和激活， 生成的 初始显著性图利用混合损失函数进行深层监督 训练。 权利要求书3页 说明书7页 附图2页 CN 114299305 A 2022.04.08 CN 114299305 A 1.聚合密集和注意力多尺度特征的显著性目标检测算法， 其特征在于， 该算法运行包 含以下步骤： 1)此显著性目标检测算法利用预训练好的ResNet ‑50网络作为编码器从输入图像中编 码初始多层次特 征； 2)初始多层次特征输入深层稠密特征探索模块通过利用平行集成卷积块和稠密连接 充分提取多尺度上下文信息， 然后集成上下文信息优化多层次特征提升特征的多样性和相 关性； 3)优化后的多层次特征通过多尺度通道注意力增强模块集成多视角注意力特征强化 通道中的显著性目标信息和压缩背景信息生成高质量特 征表示； 4)将生成的高质量特征表示进行降维并使用激活函数激活高质量特征产生最原始 的 显著性图， 使用一种混合损失函数对 模型进行监 督训练。 2.根据权利要求1所述的聚合密集和注意力多尺度特征的显著性目标检测算法其特征 在于： 所述 步骤1)具体方法是： 2.1)开始， 我们通过开源数据库收集到了显著性目标检测方向的多种数据集， 涉及 ECSSD数据集， HKU ‑IS数据集， PASCAL ‑S数据集， DUT ‑OMRON数据集， DUTS数据集， DUTS ‑TE数 据集。 2.2)此专利聚合密集和注意力多尺度特征的显著性目标检测算法， 在此算法中我们利 用拥有10553张图像的大型数据集， 即DUTS数据集训练我们的算法， 训练完成之后， 我们使 用ECSSD数据集， PASCAL ‑S数据集， HKU ‑IS数据集， DUT ‑OMRON数据集和DUTS ‑TE数据集作为 测试数据集来验证我们所提出算法的高效性。 2.3)收集整理完成之后， 我们将预训练好的ResNet50网络作为编码器， 这里为了提升 算法的计算效率， 我们将ResNet50网络的最后一层 池化层和全 连接层移除， 对输入RGB图像 进行提取初始多层次特征， 然后利用一个卷积操作降维初始多层次特征生成特征表示为I {I1,I2,I3,I4,I5}。 3.根据权利要求1所述的聚合密集和注意力多尺度特征的显著性目标检测算法其特征 在于： 所述 步骤2)具体方法是： 3.1)首先， 我们设计了的四个平行集成卷积块利用填充率互补的空洞卷积操作提取丰 富的多尺度特征信息。 注意四个平行集成卷积块中都包含了两个填充率d(i.e.,2,4,6,8) 和d/2(i.e.,1,2,3,4)的空洞卷积操作。 我们在平行集成卷积块的内部增加了一个卷积核 为ki(i.e.,1,3,5,7)的不对称 卷积操作增强所提取特征之间的相关性， 通过线性聚合卷积 和空洞卷积后的多尺度特征具有更多的上下文信息。 同时， 我们引入稠密连接充分利用不 同层次平行集成卷积块中提取的不同尺度的特征信息， 最终生成具有 更多显著 性信息的特 征Mi。 注意平行集成卷积块的内部每个卷积和空洞卷积操作后都跟着一个批量标准化(BN) 和ReLU非线性激活操作。 数 学上， Mi的计算公式为： 这里Dd和Dd/2表示填充率分别为d和d/2的空洞卷积操作， Ak表示卷积核为k∈{1， 3， 5， 7}权　利　要　求　书 1/3 页 2 CN 114299305 A 2的卷积操作,∑表示像素级加性融合操作, δ表 示Mi‑1， Mi‑2， Mi‑3。 注意当i＝1是空洞卷积的填 充率为2和1,卷积操作的卷积核 大小k＝1， 随着平行集 成卷积块的加深， 填充率和卷积核依 次递增。 3.2)然后四个平行集成卷积块提取的多尺度上下文特征Mi和残差特征R进行特征聚 合,并通过一个卷积核为1 ×1的卷积操作进行特征降维， 最后得到具有更多上下文信息的 特征Qi。 得到Qi的公式如下： Qi＝w(Cat(I,M1,...,Mi)), (2) 这里w表示卷积核大小为1 ×1的降维操作， Cat表示特征拼接操作。 通过利用多尺度上 下文信息Mi和初始特征I,特征Qi通过DDFE模块被增加更多的显著性信息， 相比于初始特征 I具有更强的鲁棒 性和泛化能力。 4.根据权利要求1所述的聚合密集和注意力多尺度特征的显著性目标检测算法， 其特 征在于： 所述 步骤3)具体方法是： 4.1)多尺度注意力特征强化模块包含三个分支每个分支用于聚焦不同尺度特征通道 中的前景信息， 减少噪音或冗余特征 的干扰， 通过集成不同尺度的注意力特征和残差特征 生成包含 更多显著 性信息的特征Y用于预测显著 性目标。 具体的说， 每个分支包含一个卷积 操作， 两个池化操作， 两个全连接操作， 一个ReLU激活操作和一个Sigmoid激活操作。 注 意三 个分支的卷积操作卷积核大小依次是{1,3,5}用于生 成多尺度特征， 另外， 考虑到最大池化 和平均池化进 行池化操作时保留的信息是不同的， 为此我们采用混合池化的方法融合两种 池化操作后的特征信息。 通过三个 分支的操作后， 我们可以得到A1,A3,A5三个不同尺度的注 意力特征： 这里C1,C3,C5表示卷积核大小依次是{1,3,5}的卷积操作， AP,MP表示平均池化操作和 最大池化操作， ρ 表示 一系列的全连接操作,ReLU和Sigmo id激活操作。 4.2)通过聚合多个不同尺度的注意力特征和残差特征生成集聚更多显著性信息的特 征Y{Y1,Y2,Y3,Y4,Y5}用于准确地预测 和完整地分割显著性目标。 Y的数 学公式如下： Y＝Cat(Q， C3(A1,A3， A5,Q)), (4) 这里， C3表示卷积 核为3×3的卷积操作， Q表示残 差特征， Cat特征拼接操作。 通过强化不 同尺度特征通道中的前景信息， 减少复杂背 景信息的干扰， 生成的特征Y相较于主干网络中 提取初始特 征I具有更多的显著性信息 。 5.根据权利要求1所述的聚合密集和注意力多尺度特征的显著性目标检测算法， 其特 征在于： 所述 步骤4)具体方法是： 为了使生成的显著性图可以更加接近于真值标签， 这里我们采用混合损失函数对模型 进行监督训练。 这里混合 函数由IoU损失函数和交叉熵损失函数组成。 其公式定义如下： φ＝φbce+φiou (5) 这里φbce和φiou分别是交叉熵损失函数和i ou损失函数。 交叉熵损 失函数广泛应用于二值分类和分割， 它可以精确地计算每个像素的损 失。 其 数学公式定义 为：权　利　要　求　书 2/3 页 3 CN 114299305 A 3