(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210765277.8 (22)申请日 2022.07.01 (71)申请人 南京理工大 学 地址 210094 江苏省南京市孝陵卫20 0号 (72)发明人 刘阳光　刘芳　刘嘉　江凯旋　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 陈鹏 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于空间自适应和特征增强暹罗网络的变 化检测方法 (57)摘要 本发明公开了一种基于空间自适应和特征 增强暹罗网络的变化检测方法， 该方法包括： 构 造基于ResNet ‑18的暹罗网络用于提取双时态特 征； 在卷积块注意力模型之后使用三个卷积核获 得具有不同空间信息的三对特征图， 分别计算由 同一个卷积核得到的一对特征图的欧氏距离， 得 到差异图； 定义空间自适应部分用于获取自适应 的空间知识； 定义特征增强部分用于加强或削弱 变化和不变的特征； 引入加权对比损失作为差异 图和地面真实图之间的度量， 通过最小化损失来 训练网络； 通过阈值分割从差异图中获得更精确 的变化图。 本发 明能够很好地解决在特征提取过 程中， 不同大小和形状的对象通 常由相同的过滤 核处理而导致的空间模糊问题。 权利要求书2页 说明书5页 附图2页 CN 115170824 A 2022.10.11 CN 115170824 A 1.一种基于空间自适应和特征增强暹罗网络的变化检测方法， 其特征在于， 包括以下 步骤： 第一步， 构造基于ResNet ‑18的暹罗网络用于提取双时态特 征； 第二步， 在卷积块注意力模型之后使用3 ×3， 5×5和7×7卷积核来获得具有不同空间 信息的三对特 征图， 分别计算由同一个卷积核得到的一对特 征图的欧氏距离， 得到 差异图； 第三步， 定义空间自适应部分用于获取自适应的空间知识； 第四步， 定义特 征增强部分用于加强或削弱变化和不变的特 征； 第五步， 引入加权对比损 失作为差异图和地面真实图之间的度量， 通过最小化损 失来 训练网络； 第六步， 通过阈值分割从差异图中获得变化图。 2.根据权利要求1所述的基于空间自适应和特征增强暹罗网络的变化检测方法， 其特 征在于， 第一步构造基于ResNet ‑18的暹罗网络用于提取双时态特征， 即将ResNet ‑18扩展 为暹罗结构， 网络的输入为两幅经过配准的双时态遥感 图像， 经过暹罗网络能够获取不同 尺度的特 征图。 3.根据权利要求1所述的基于空间自适应和特征增强暹罗网络的变化检测方法， 其特 征在于， 第二步在卷积块注意力模型之后使用3 ×3， 5×5和7×7卷积核来获得具有不同空 间信息的三对特征图， 分别计算由同一个卷积核得到的一对特征图的欧氏距离， 得到差异 图， 具体过程 为： 在每个残差块之后， 获得双时态特征图， 并作为空间自适应和特征增强模块的输入； 空 间自适应和特征增强模块是在卷积块注意力模 型特征上进 行的， 在卷积块注意力模型之后 使用3×3， 5×5和7×7卷积核来获得具有不同空间信息的三对特征图； 分别计算由同一个 卷积核得到的一对特 征图的欧氏距离， 得到 差异图； 通过以下 方式获得差异图： DI(F)＝E( σ(f(F1)), σ(f(F2))) 其中F1和F2是在不同时间从每个残差块获得 的特征图， f( ·)表示卷积核大小分别为3 ×3， 5×5和7×7的卷积操作， σ( ·)表示sigmoi d函数， E(·)表示欧氏距离； 在不同的卷积 核下， 能得到不同的差异图， 分别表示 为DI1， DI2和DI3。 4.根据权利要求3所述的基于空间自适应和特征增强暹罗网络的变化检测方法， 其特 征在于， 第三 步定义空间自适应部分， 具体过程 为： (1)将从每个残差块获取的双时态特征图F1和F2在通道维度上进行融合， 然后通过卷积 核大小为3×3的卷积操作； 最后， 在通道维度上进 行求和以及 归一化去获得自适应权重图； 自适应权 重图通过以下公式得到： 其中， f3×3(·)表示卷积核大小为3 ×3的卷积操作， sum( ·)表示在通道维度上进行求 和； (2)在得到自适应权重图之后， 将自适应权重图分别与DI1， DI2和DI3做相乘运算去获得 DI'1， DI'2和DI'3； DI'1， DI'2和DI'3表示为： 权　利　要　求　书 1/2 页 2 CN 115170824 A 25.根据权利要求4所述的基于空间自适应和特征增强暹罗网络的变化检测方法， 其特 征在于， 第四步定义特 征增强部分， 具体过程 为： 将从3×3， 5×5和7×7卷积核获得的特征图分别与DI'1， DI'2和DI'3做相乘运算去 获得 DI”1， DI"2和DI"3； DI”1， DI"2和DI"3被表示为： 其中f3×3(·)， f5×5(·)和f7×7(·)分别表示卷积核大小为3 ×3， 5×5和7×7的卷积操 作， 表示做相乘运算； DI ”1， DI"2和DI"3在通道维度上进行融合去获得最终的差异图作为 空间自适应和特 征增强模块的输出。 6.根据权利要求5所述的基于空间自适应和特征增强暹罗网络的变化检测方法， 其特 征在于， 第 五步引入加权对比损失作为差异图和地面真实 图之间的度量， 通过最小化损失 来训练网络， 具体过程 为： (1)将通过四个空间自适应和特征增强模块获得的四个差异图通过卷积操作以获得四 个96通道的差异图； 通过双线性插值， 将四个96通道的差异图均匀地调整为128 ×128的大 小， 然后融合以获得384通道的差异图； 384通道的差异图通过卷积操作获得1通道的差异 图； 通过三线性插值， 将1通道的差异图均匀地调整为25 6×256的大小； (2)引入加权对比损失作为差异图和地 面真实图之间的度量， 损失函数定义 为： 其中， M表示dt的大小， w1和w2表示不变和变化特征对的权重， gti,j和dti,j分别表示地面 真实图与差异图在点(i,j)的值， m是边距； 其中， pos_num和neg_num 分别表示 不变和变化像素对的数量。 7.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现权利要求 1‑6中任一所述的方法的 步骤。 8.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现权利要求1 ‑6中任一所述的方法的步骤。 9.一种计算机程序产品， 包括计算机程序， 其特征在于， 该计算机程序被处理器执行时 实现权利要求1 ‑6中任一所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115170824 A 3