(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211180513.6 (22)申请日 2022.09.27 (71)申请人 苏州大学 地址 215000 江苏省苏州市姑苏区十 梓街1 号 (72)发明人 陈良　马健　 (74)专利代理 机构 苏州吴韵知识产权代理事务 所(普通合伙) 32364 专利代理师 王莉 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于通道特征的语义分割 自适应知识 蒸馏方法 (57)摘要 本发明涉及一种基于通道特征的语义分割 自适应知识蒸馏方法， 首先获取教师分割模型和 学生分割模 型； 再分别提取教师分割模型和学生 分割模型主干网络的各层知识， 进行自适应特征 蒸馏； 然后分别计算教师和学生特征图的通道相 关性矩阵； 对教师分割模型和学生分割模型最终 输出的标签预测值特征图进行逐通道归一化处 理； 最后计算模型训练最终的总损失， 对学生模 型进行训练。 本发明通过自注意力机制自动学习 主干网络 各层的相关性， 并且充分利用了模型的 通道知识， 通过学习教师模型通道的相关性与显 著性特征， 减少了学生模型对于教师模型冗余知 识的学习， 有效提高了学生模型的分割精度。 权利要求书2页 说明书8页 附图2页 CN 115482385 A 2022.12.16 CN 115482385 A 1.一种基于通道特征的语义分割自适应知识蒸馏方法， 其特征在于， 该方法包括以下 步骤： S1： 选取数据集进行 数据增强； S2： 获取教师分割模型和学生分割模型； S3： 分别提取教师分割模型和学生分割模型主干网络的各层知识， 进行自适应特征蒸 馏； S4： 分别提取教师分割模型和学生分割模型的分割特征， 并分别计算教师和学生特征 图的通道相关性矩阵； S5： 对教师分割模型和学生分割模型最终输出的标签预测值特征图进行逐通道归一化 处理； S6： 计算模型训练最终的总损失， 对学生模型进行训练。 2.根据权利要求1所述的一种基于通道特征的语义分割自适应知识蒸馏方法， 其特征 在于， 步骤S1中数据增强包括随机翻转， 翻转角度在 ‑10°至10°。 3.根据权利要求1所述的一种基于通道特征的语义分割自适应知识蒸馏方法， 其特征 在于， 步骤S1中数据增强包括缩放图像。 4.根据权利要求1所述的一种基于通道特征的语义分割自适应知识蒸馏方法， 其特征 在于， 步骤S2中采用金字塔场景解析网络作为模 型分割架构来 获取教师分割模 型和学生分 割模型， 其中教师分割模型主干网络为 101层的残差网络， 学生分割模 型主干网络为轻量化 网络或者18层的残差网络， 教师分割模型和学生分割模型均采用大型可视化数据预训练权 重。 5.根据权利要求1所述的一种基于通道特征的语义分割自适应知识蒸馏方法， 其特征 在于， 步骤S3中自适应蒸馏方法包括以下步骤： S31： 将教师分割模型主干网络第i层特征图记为 学生模型主干部分第j层特征图记 为 S32： 对教师分割模型和学生分割模型主干网络的各层特征图进行逐通道 的归一化操 作； S33： 将学生分割模型主干网络的各层特征图投影到教师分割模型主干网络的各层特 征图； S34： 计算学生分割模型主干网络与教师分割模型主干网络各层特征图之间的相关系 数α； S35： 采用KL散度来使学生分割模型的分布趋 近于教师分割模型； S36： 计算自适应特 征蒸馏损失项LCLD； 其中， KL散度为Kul lback‑Leibler散度， 也 叫相对熵。 6.根据权利要求1所述的一种基于通道特征的语义分割自适应知识蒸馏方法， 其特征 在于， 步骤S4还 包含以下步骤： S41： 将教师分割模型的分割特 征记为FT， 将学生分割模型的分割特 征记为FS； S42： 计算 通道相似性矩阵； S43： 计算 通道相关性蒸馏损失项LICKD；权　利　要　求　书 1/2 页 2 CN 115482385 A 2其中， 学生分割模型的分割特征FS是将原始分割特征进行池化后再经过卷积处理后与 FT相同尺寸的投影特 征。 7.根据权利要求1所述的一种基于通道特征的语义分割自适应知识蒸馏方法， 其特征 在于， 步骤S5后还 包含以下步骤： 计算 通道显著性蒸馏损失项LCWD。 8.根据权利要求1所述的一种基于通道特征的语义分割自适应知识蒸馏方法， 其特征 在于， 步骤S6计算训练模型最终的总损失项Lall， 公式为： Lall＝Lcls+LKD+β LCLD+γLICKD+λLCWD 其中， Lcls为传统语义分割的交叉熵损失， LKD为传统的标签值蒸馏损失项； β 为自适应特 征蒸馏损失项LCLD的权重系数， γ为通道相关性蒸馏损失项LICKD的权重系数， λ为通道显著 性蒸馏损失项LCWD的权重系数。 9.根据权利要求8所述的一种基于通道特征的语义分割自适应知识蒸馏方法， 其特征 在于， β 取值 为20， γ取值 为1， λ取值 为4。权　利　要　求　书 2/2 页 3 CN 115482385 A 3