(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211170026.1 (22)申请日 2022.09.22 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 张婷　高子航　刘兆英　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 王兆波 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于像素域适应的红外舰船图像语义分割 方法 (57)摘要 本发明公开了一种基于像素域适应的红外 船舰图像语义分割方法， 首先输入源域可见光船 舰和目标域红外船舰的 图像， 传递到像素域适应 网络以使源域和目标域船舰 图像的外观和风格 相似， 生成相似性损失； 其次将通过像素域适应 得到的源域和目标域图像输入到分割网络以预 测源域和目标域得到分割输出， 由源域输出得到 的源预测图像生成有监督的源域 分割损失； 接着 将两个分割输出作为判别器的输入， 生成对抗损 失， 再将对抗损失传递到像素域适应网络和分割 网络； 最后通过最小化相似性损失和分割损失， 最大化对抗损失交替地训练网络。 本发明的基于 像素域适应的红外船舰 图像语义分割方法有效 提高了无监 督域适应红外船舰图像的分割性能。 权利要求书3页 说明书6页 附图4页 CN 115496904 A 2022.12.20 CN 115496904 A 1.一种基于像素域 适应的红外舰船图像 语义分割方法， 其特 征在于， 包括以下步骤： 步骤1： 获取源域可见光舰船数据 集XS以及对应标签YS， 获取目标域红外舰船数据 集XT， 将目标域数据集按照6:4的比例划分为训练集XT_train和测试集XT_test； 所述源域可见光舰船 数据集XS包含NS_train个样本， 源域可见光舰 船数据集对应标签YS包含NS_train个样本， 训练集 XT_train包含NT_train个样本， 测试集XT_test包含NT_test个样本以及对应标签； 步骤2： 构建基于生成对抗网络的像素域适应模型， 其中生成器包含外观相似 网络和分 割网络两个子网络， 外观相似网络用于将源域可见光图像和目标域红外图像转换为两个域 外观尽可能相似的图像； 分割网络接收转换后的源域和目标域图像， 生成对应的分割图像； 判别器使用基本的卷积网络对生成的分割图像进行判别， 判断其域类别， 进而实现红外舰 船分割； 步骤3： 分别为 新的生成器网络和判别器网络设计损失函数； 步骤4： 交替地迭代训练生成器和判别器， 利用 “最大最小对抗 ”思想不断训练整个网络 并保存网络的权 重参数； 步骤5： 加载步骤4训练好的权重参数， 输入红外舰船测试数据集到新的生成器网络中 生成分割图， 在测试集XT_test上计算平均交并比。 2.根据权利要求1所述的一种基于像素域适应的红外舰船图像语义分割方法， 其特征 在于， 步骤2 中包括， 步骤2.1： 构建外观相 似网络模型， 该网络模型是一个卷积 网络； 其中， 前3层为卷积层， 卷积核大小分别为{7 ×7,3×3,3×3}， 通道数分别为{64,128,256}， 第一 个卷积层步长为1， 其余两个卷积层步长均为2， 每个卷积层后都有一个块归一化层和修正 线性单元激活函数； 接着是两个残差块， 每个残差块包含2个卷积层， 每个卷积层具有3 ×3 的卷积核和256个通道数， 步长均为 1， 每个卷积层后都有一个块归一化层； 随后是两个反卷 积层， 卷积核大小都为3 ×3， 通道数分别为{128,64}， 卷积步长均为2， 每个反卷积层后都有 一个块归一化层和修正线性单元激活函数； 最后是一个卷积层， 卷积核 大小为7×7， 通道数 为3， 卷积层步长为 1， 卷积后使用Tanh激活函数用于生 成颜色特征图， 接着将生 成的特征图 分别与原图累加生成新的源域和目标域舰船图像； 步骤2.2： 将新生成的源域和目标域的图像分别输入到分割网络中， 得到对应的分割结 果， 将源域可见光图像的分割结果记为PS， 目标域红外图像的分割结果记为PT； 该分割网络 是一个以Resnet ‑101为主干网络的De eplab‑v2分割网络； 步骤2.3： 构建判别器模型， 该网络是一个卷积网络， 其中前3层是卷积层， 卷积核大小 均为4×4， 通道数分别 为{64， 128， 256}， 前两个卷积层的步长均为2， 第三个卷积层的步长 为1， 每个卷积层后都有一个参数为0.2的非饱和修正线性单元激活函数； 第4层是一个空洞 卷积层， 该层包含3个并联的空洞卷积， 空洞卷积率分别为{1,3,5}， 卷积核大小均为4 ×4， 通道数均为256， 步长均为1， 每个空洞卷积后都有一个参数为0.2的非饱和修正线性单元激 活函数； 第5层是卷积层， 卷积核大小为4 ×4， 通道数为1， 该卷积层作为分类器返回判别 结 果。 3.根据权利要求1所述的一种基于像素域适应的红外舰船图像语义分割方法， 其特征 在于， 步骤 3包括， 步骤 3.1： 外观相似网络的损失函 数包括： 整体多样性损失Lvaria， 其目标为 移除图像中粗造的纹理信息； 转换一致性损失Lcyc， 其目标为减少两个域的图像 色彩差异的 影响； 色彩控制性损失Lcolor， 其目的为保证转换 前后图像的信息一 致；权　利　要　求　书 1/3 页 2 CN 115496904 A 2整体多样性损失函数为： 式中， l∈{1≤l≤NS_train}为第l个样本， 为输入的两个域图像， 为外观相似网络生成的两个域图像， 为源域图像转换后的数据， 为目标 域图像转换后的数据， Nl为Xl中像素值总个数， 和 分别为相邻像素之间沿x方向和y方 向上色彩强度的梯度值， | |·||1是所有像素值 求和的L1范式； 转换一致性损失函数为： 式中， l∈{1≤l≤NS_train}为第l个样本， 为输入的两个域图像， 为外观相似 网络生成的两个域图像， 为源域图像转换后的数据， 为目标 域图像转换后的数据， | |·||1是所有像素值 求和的L1范式； 色彩控制性损失函数为： 式中， 为一个平均池化核大小32*32的函数， Ml为 中像素值的个数， El的值是 动态变化的， 设置为每一个迭代过程中红外图像的平均颜色强度值； 外观相似 模型的整体损失函数定义 为： LASN＝α1Lvaria+α2Lcyc+α3Lcolor            (4) 式中， 参数α1， α2， α3是三个损失函数的权 重参数； 步骤3.2： 对于分割网络中的源域输出图， 一部分与其对应的标签作交叉熵损失确保源 域的分割性能； 交叉熵损失函数公式为： 式中， l∈{1≤l≤NS_train}为第l个样本， h、 w、 c、 C分别为图像的高、 宽、 具体的某个类别 和总类别的个数， 为源域数据输入网络生成的分割输出图； 另一部分与目标域的分割输 出 一块作为判别器的输入确保两个域的图像尽可能接近从而迷惑判别器， 这个部分需 要对抗损失完成； 对抗损失函数公式为： 式中， l∈{1≤l≤NS_train}为第l个样本， 为目标域数据输入网络生成的分割输出图，权　利　要　求　书 2/3 页 3 CN 115496904 A 3