(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210524417.2 (22)申请日 2022.05.13 (71)申请人 北京航空航天大 学 地址 100000 北京市海淀区学院路37号 (72)发明人 张浩鹏　谭智文　姜志国　谢凤英　 赵丹培　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06T 7/73(2017.01)G06V 10/764(2022.01) G06T 7/60(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/22(2022.01) (54)发明名称 基于自注意力机制的遥感图像弱监督目标 检测方法及系统 (57)摘要 本发明公开了基于自注意力机制的遥感图 像弱监督目标检测方法及系统， 该方法包括： 获 取训练图像和带有的候选框， 以及训练图像相对 应的图像级标注信息； 将训练图像、 候选框及标 注信息输入识别模型进行训练； 所述识别模型包 括： 候选框簇学习模块和自注意力机制模块； 所 述自注意力机制模块包括： 编码器模块和解码器 模块； 将待识别目标的 图像与带有的候选框输入 训练后的识别模 型， 依次经所述候选框簇学习模 块、 编码器模块和解码器模块， 输出识别结果； 所 述识别结果包括： 图像中对应的目标位置、 大小 和类别。 该方法的识别模型通过自注 意力机制来 对候选框之间的关系进行建模， 能够获得更丰富 的信息， 进 而获得更好的检测结果。 权利要求书2页 说明书7页 附图2页 CN 114821331 A 2022.07.29 CN 114821331 A 1.基于自注意力机制的遥感图像弱监 督目标检测方法， 其特 征在于， 包括： S10、 获取训练图像和带有的候选 框， 以及训练图像相对应的图像级标注信息； S20、 将训练图像、 候选框及标注信息输入识别 模型进行训练； 所述识别 模型包括： 候选 框簇学习模块和自注意力机制模块； 所述自注意力机制模块包括： 编码器模块和解码器模 块； S30、 将待识别目标的图像与带有的候选框输入训练后的识别模型， 依次经所述候选框 簇学习模块、 编码器模块和解码器模块， 输出识别结果； 所述识别结果包括： 图像中对应的 目标位置、 大小和类别。 2.根据权利要求1所述的基于自注意力机制的遥感图像弱监督目标检测方法， 其特征 在于， 在所述S3 0步骤中， 所述编码器模块的编码流 程如下： 对所述候选框簇学习模块输出的目标候选框， 提取高维特征F∈Rd×1以及对应的位置和 大小编码P∈Rd×1； 根据所述高维特 征的维度d、 目标候选 框的数量m， 生成特 征图M∈Rd×m； 将所述特 征图M通过不同的线性映射层映射 为Q,K,V， 获得新的自注意力特 征图： 新的自注意力特征图Mnew经过三个自注意力机制层， 得到编码后的候选框特征图M*∈Rd ×m。 3.根据权利要求2所述的基于自注意力机制的遥感图像弱监督目标检测方法， 其特征 在于， 在所述S3 0步骤中， 所述 解码器模块的解码流 程如下： 解码器模 块的输入 为一组学习获得的查询向量q∈Rd×1构成的特征图H∈Rd×n， 以及编码 器模块得到的编码后的候选 框特征图M*， 其中n为查询向量的个数； 将所述解码器模块的输入通过不同的线性映射层映射为Q ’,K’,V’， 获得对H矩阵的更 新： 更新后的Hnew经过三个自注意力机制层， 得到解码后的查询向量特 征图H*∈Rd×n。 4.根据权利要求3所述的基于自注意力机制的遥感图像弱监督目标检测方法， 其特征 在于， 在所述S3 0步骤中， 输出识别结果， 包括： 利用解码后的查询向量集H*对图像中的目标的位置、 大小和类别进行预测， 输 出预测结 果。 5.根据权利要求4所述的基于自注意力机制的遥感图像弱监督目标检测方法， 其特征 在于， 利用解码后的查询向量集H*对图像中的目标的位置、 大小和类别进行预测， 输出预测 结果； 包括： H*通过一个线性层来得到查询向量的类别结果cls∈Rn×1， 类别结果中第0类被设置为 背景类， 第1到k类为感兴趣的目标种类； H*通过一个多层感知器以得到查询向量的位置大小结果obj∈Rn×4， 其中， 第i个查询向权　利　要　求　书 1/2 页 2 CN 114821331 A 2量的位置大小结果ob ji＝[cxi,cyi,wi,hi]∈R1×4分别为该预测框的在x和y轴上的中心点坐 标以及长 宽。 6.根据权利要求5所述的基于自注意力机制的遥感图像弱监督目标检测方法， 其特征 在于， 在所述S20步骤中， 所述自注意力机制模块部分所用到的损失函数为： Ltrans＝ λ1Lbbox+λ2Lcls 其中， λ1、 λ2分别为系数； Lbbox＝ λL1||bpred‑btruth||1 Lbbox表示候选框位置信息使用的L1损失函数， bpred表示预测的检测框的尺寸位置信息， 包括长、 宽以及中心点在图像 中所处的位置， btruth表示算法生成的伪标签的检测框的尺寸 位置信息； Lcls表示类别信息使用的Focal  loss损失函数， 其中α和γ是权重因子， 控制 loss曲线 的形状， cpred表示预测的检测框的类别得分， ctruth表示算法生成 的伪标签的检测框的类别 信息。 7.基于自注意力机制的遥感图像弱监 督目标检测系统， 其特 征在于， 包括： 获取模块， 用于获取训练图像和带有的候选框， 以及训练图像相对应的图像级标注信 息； 训练模块， 用于将训练图像、 候选框及标注信 息输入识别模型进行训练； 所述识别模型 包括： 候选框簇学习模块和自注意力机制模块； 所述自注意力机制模块包括： 编 码器模块和 解码器模块； 检测模块， 用于将待识别目标的图像与带有的候选框输入训练后的识别模型， 依次经 所述候选框簇学习模块、 编码器模块和解码器模块， 输出识别结果； 所述识别结果包括： 图 像中对应的目标位置、 大小和类别。权　利　要　求　书 2/2 页 3 CN 114821331 A 3