(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221074727 7.5 (22)申请日 2022.06.29 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 田联房　冯俊健　李彬　董超　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 冯炳辉 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 基于特征对抗迁移和半监督学习的跨域水 面目标检测方法 (57)摘要 本发明公开了一种基于特征对抗迁移和半 监督学习的跨域水面目标检测方法， 包括： 1)利 用源域数据和目标域数据构建水面目标数据集， 以及构建水面目标检测模 型； 2)进行特征对抗迁 移学习， 利用水面目标数据集训练水面目标检测 模型， 以对抗的方式实现源域数据与目标域数据 的特征对齐； 3)进行半监督学习， 利用水面目标 检测模型对部分目标域数据进行伪标注， 利用水 面目标数据集对特征对抗迁移学习后的水面目 标检测模型进行半监督训练。 本发 明利用其它环 境中已标注的样本数据训练模型并将该模型所 学习到的知识迁移到新的环境中， 结合半监督学 习方式提高跨域水面目标检测的精度， 降低模型 部署到新环 境中的数据标注成本， 最终实现跨域 水面目标检测。 权利要求书3页 说明书7页 附图3页 CN 115082792 A 2022.09.20 CN 115082792 A 1.基于特征对抗迁移和半监督学习的跨域水面目标检测方法， 其特征在于， 包括以下 步骤： 1)利用源域数据和目标域数据构建水面目标数据集， 以及构建水面目标检测模型； 其 中， 源域数据采集自某一水面环境的已标注样 本， 目标域数据采集自新环境的无标注样 本， 水面目标检测模 型包含基于Resnet50的基础检测网络、 基于区域的域对抗判别器和域对抗 类别判别器； 2)进行特征对抗迁移学习， 利用水面目标数据集训练水面目标检测模型， 以对抗的方 式实现源域数据与目标域数据的特 征对齐； 3)进行半监督学习， 利用特征对抗迁移学习后的水面目标检测模型对部分目标域数据 进行伪标注， 利用水面目标数据集对特征对抗迁移学习后的水面目标检测模型进 行半监督 训练， 并结合特征对抗迁移学习， 提高跨域水面目标检测的性能， 最终实现准确的跨域水面 目标检测。 2.根据权利要求1所述的基于特征对抗迁移和半监督学习的跨域水面目标检测方法， 其特征在于， 在步骤1)中， 采集水面环境的已标注样本作为源域数据， 并采集新环境的无标 注样本作为目标域数据， 构建水面目标数据集； 对 水面目标数据集中的样本进 行数据增强， 包括水平翻转、 随机噪声、 雨天生成和大雾生成。 3.根据权利要求1所述的基于特征对抗迁移和半监督学习的跨域水面目标检测方法， 其特征在于， 在步骤1)中， 构建水面目标检测模型， 包括： a、 搭建基于Resnet50的基础检测网络的结构， 该结构包含基于Resnet50的特征提取 器、 区域提议网络、 区域网络、 区域池化和目标函数； 基于Resnet50的基础检测网络的结构搭建后， 进行预训练， 其流程为： 首先将源域数据 输入特征提取器得到特征图， 接着通过区域提议网络生成候选区域， 将区域池化后的候选 区域特征输入到区域网络进一步优化检测结果， 最后通过优化基础网络的目标函数来调整 水面目标检测模型的参数； 其中， 基于Resnet5 0的基础检测网络的目标函数为： 式中， DS表示源域数据， 表示区域提 议网络的损失函数， 表示区 域网络的损失函数， λ1表示 的惩罚系数， 和 都包含了 用于分类的交叉熵损失和用于位置回归的Smo oth‑L1函数； b、 搭建基于区域的域对抗判别器： 采用梯度反转层和卷积层串联构建基于区域的域对 抗判别器， 其中， 将区域提议网络的输出作为基于区域的域对抗判别器的输入， 采用基于区 域的域对抗目标函数来训练基于区域的域对抗判别器的参数， 并通过梯度反向传播的方 式， 调整水面目标检测模型的参数； 其中， 基于区域的域对抗目标函数为： 式中， 表示基于区域的域对抗目标函数， 表示目标域数据， 表示 区域提议网络生成的候选区域 集合， pc(r)表示候选区域r属于域类别c的概 率；权　利　要　求　书 1/3 页 2 CN 115082792 A 2c、 搭建域对抗类别判别器： 采用梯度反转层和卷积层串联构建域对抗类别判别器， 其 中， 将区域池化后的候选区域特征作为域对抗类别判别器的输入， 并利用区域网络的输出 对域对抗类别判别器进行加权， 采用域对抗类别目标函数来训练域对抗类别判别器的参 数， 并通过梯度反向传播的方式， 调整水面 目标检测模型 的参数； 其中， 域对抗类别目标函 数为： 式中， 表示域对抗类别目标函数， 表示多类别域对抗损 失函数， 表示熵函数； 多类别域对抗损失函数的数 学形式为： 式中， 表示源域数据和目标域数据的目标类别总数， 表示候选区域r属于i类的类 别概率分布， F表示候选区域r的特征向量， c表示域类别， 表示计算 和c 的交叉熵函数； 熵函数的数 学形式为： 4.根据权利要求1所述的基于特征对抗迁移和半监督学习的跨域水面目标检测方法， 其特征在于， 在步骤2)中， 特征对抗迁移学习的目的是以对抗的方式使水面目标检测模型 实现水面 目标数据集中的源域数据与目标域数据的特征对齐， 为此， 结合基于区域的域对 抗判别器进行特征对抗迁移学习的训练， 并采用随机梯度下降法对水面目标检测模型的参 数进行调整， 其目标函数为： 式中， DS表示源域数据， 表示目标域 数据， 表示基于Resn et50的基础检测网 络的目标函 数， 表示基于区域的域对抗目标函 数， λ2表示 的 惩罚系数。 5.根据权利要求1所述的基于特征对抗迁移和半监督学习的跨域水面目标检测方法， 其特征在于， 所述 步骤3)包括以下步骤： 3.1)利用特征对抗迁移学习后的水面目标检测模型对部分无标注 的目标域数据进行 伪标注， 并通过 人工方式调整伪标注的准确度； 3.2)利用基于区域的域对抗判别器和域对抗类别判别器进行半监督训练， 并采用随机 梯度下降法对水面目标检测模型的参数进行调整， 其目标函数为： 权　利　要　求　书 2/3 页 3 CN 115082792 A 3