(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221047482 2.8 (22)申请日 2022.04.29 (71)申请人 哈尔滨工程大 学 地址 150001 黑龙江省哈尔滨市南岗区南 通大街145号 (72)发明人 冯收　樊元泽　唐英杰　赵春晖　 成浩　闫奕名　宿南　 (74)专利代理 机构 哈尔滨市松花江专利商标事 务所 23109 专利代理师 张换男 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 20/13(2022.01) G06V 10/52(2022.01)G06V 10/80(2022.01) G06V 10/776(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多尺度自适应卷积核的多光谱图 像变化检测方法 (57)摘要 一种基于多尺度自适应卷积核的多光谱图 像变化检测方法， 属于多光谱图像变化检测领 域。 为了解决高光谱图像变化检测过程中， 现有 的方法存在对复杂地物信息提取困难、 变化区域 边界定位不准确的问题， 本发明设计了权重共享 的双侧编码路径的MASK ‑Net， 将基于自适应权重 的卷积核选择模块嵌入到编码路径中提取图像 中的多尺度特征； 并将多尺度空间特征输入到本 发明所设计的具有注意力机制的上采样模块来 提取网络中的深层特征， 通道注 意力使得浅层特 征和深层特征得到了选择性的融合， 基于设计的 网络进行检测； 本发明还使用多模态条件随机场 来对神经网络的结果进行二次检测实现变化像 素的分类与定位。 主要用于多光谱图像的变化检 测。 权利要求书4页 说明书11页 附图6页 CN 114841319 A 2022.08.02 CN 114841319 A 1.一种基于多尺度自适应卷积核的多光谱图像变化检测方法， 其特征在于， 将多光谱 图像输入到 权重共享的双侧编码路径的网络 MASK‑Net中进行检测； 所述双侧编码路径的网络MASK ‑Net同时提取双时相多光谱图像的独立特征； 每条编码 路径包括依次连接的四层卷积网络， 四层卷积网络中的每两层网络之 间设置一个最大池化 层； 四层卷积网络中的前两层卷积网络均包括两个3 ×3卷积核的卷积层和一个BN层； 后两 层卷积网络均包括两个SCKB模块和一个BN层； 然后将编码路径提取得到的浅层特征输入到解码路径中以提取深层特征， 解码路径包 括四个上采样模块， 第一个上采样模块的输入由两条编码路径的编码结果叠加而成， 后面 三个上采样模块的输入特征由前一个上采样模块的输出特征和同等级的两个编码路径的 输出特征直接叠加而成， 利用具有注意力机制的上采样模块来提取网络中的深层特征， 同 时与编码路径提取 的浅层特征进行选择性融合； 经过四个上采样模块后， 最后一个上采样 模块的输出特征经过一个1 ×1卷积核的卷积层来调整最 终的变化检测图的通道数， 输出变 化检测结果； 所述SCKB模块为基于自适应权重的卷积核选择模块； SCKB模块分为三个卷积支路， 每 个卷积支路包括卷积层、 BN层、 激活层， 三个卷积支路卷积层中卷积核大小分别为3 ×3、 5× 5和7×7， 用来提取三种尺 寸的特征U1、 U2、 U3； 将基于三种尺寸的特征U1、 U2、 U3在通道维度上 进行叠加得到多尺度特 征图U： U＝[U1； U2； U3]＝[Conv3×3(F1)； Cony5×5(F1)； Cony7×7(F1)] 其中， Conv()代表 卷积操作， F1为SCKB模块的输入； [U1； U2； U3]中的[； ]表示将这三种特 征图通过co ncat操作在通道维度上进行叠加； 然后通过全局池化来编码全局信息， 进而产生通道维度上的特征向量S， 特征向量S的 前三分之一表示3 ×3卷积核对应的统计信息， 后三分之一表示7 ×7卷积核对应的统计信 息， 中间表示5 ×5卷积核对应的统计信息； 随后引入两个一维卷积对所有统计信 息进行融合， 并将第 二个一维卷积输出的特征向 量reshape成一个 分值矩阵； 通过softmax计算将分值矩阵映射为三个卷积核的权重系数矩 阵， 权重系数矩阵中每一列分别对应三种卷积核输出的三种尺寸的特征U1、 U2、 U3在该通道 处的权重； 最后计算U1、 U2、 U3与对应权重的加权值， 得到多尺度融合特征； 随后经过一个BN 层后再通过最大池化层得到高维特 征。 2.根据权利要求1所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法， 其特征在于， 所述特 征向量S的第c个元 素的计算方式如下： 式中， h为图像高度， w为图像宽度， m与n分别为求和中的变量， m的取值范围为(1， h)， n 的取值范围为(1， w)， Uc为多尺度特 征U中的第c个通道的特 征图。 3.根据权利要求2所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法， 其特征在于， 所述编码路径的前两层卷积网络中卷积层是带有激活函数 的卷积层， 激活函 数为Relu。 4.根据权利要求2所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法，权　利　要　求　书 1/4 页 2 CN 114841319 A 2其特征在于， 所述上采样模块即UM模块， UM模块首先对输入特征F2进行空间维度上的最大 池化和平均池化， 获得两个与F2通道数量相等长度的特征向量， 并将这两种特征向量分别 送入到两个多层感知机MLP中， 随后将两个输出结果进行像素级的相加融合； 然后基于 Sigmoid激活函数将多层感知机的相加结果映射为零到一之间的权重向量， 即通道注意力 的权重向量Mc； 将权重向量和输入特 征进行特征重组， 通道 注意力重组特 征的优化方法如下式： 其中， 表示优化后的输出 特征， 代表张量乘积， 即两张量对应位置元 素相乘； 然后送入两层连续的3 ×3卷积层得到特 征F4； 再由神经网络层自适应学习到空间注意力图： Ms＝σ(Conv2D([AvgPo ol(F4)； MaxPool(F4)])) 式中， Ms表示空间注意力图； Co nv2D表示 二维卷积； σ 表示Sigmo id激活函数； 得到空间注意力图后， 再进行空间重组特 征； 空间重组特 征的计算方法如下： 式中， Ms表示空间注意力图， 代表张量乘积， 即两张量对应位置元 素相乘。 5.根据权利要求4所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法， 其特征在于， 所述MASK ‑Net为训练好的MASK ‑Net， MASK ‑Net在训练时采用加权交叉熵作为 损失函数： 式中， N为样本总数， ti表示第i个像素点的标签， 当该像素点属于变化区域时ti为1， 反 之， 该像素点为非变化像素时ti为0； yi表示神经网络对第i个像素点的预测结果， yi越大则 神经网络认为该像素点属于变化区域的可能性就越大， 反之， 1 ‑yi表示神经网络预测为非 变化像素点的概 率； wc表示类别权 重。 6.根据权利要求5所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法， 其特征在于， 输入到权重共享的双侧 编码路径的网络MASK ‑Net中的多光谱图像为将获取的 整幅多光谱图像进行分割得到的。 7.根据权利要求6所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法， 其特征在于， 用于训练MASK ‑Net的训练集需要进行数据增强处理， 增强时对样本进行有选 择性的增强， 如果训练样本中变化像素 的比例在1％以下， 则将其过滤， 使其不参与网络训 练； 若训练样本中变化像素 的比例在5％以上， 则对其使用图像增强， 将每个训练样本进行 90°、 180°、 270°的旋转和翻转； 随后将训练样本送入网络进行训练。 8.根据权利要求1至7之一所述的一种基于多尺度自适应卷积核的多光谱图像变化检 测方法， 其特征在于， 所述方法还包括使用多模态条件随机场进 行二次检测的步骤， 具体过 程包括以下步骤： 将多光谱图像输入到MASK ‑Net进行检测得到网络的预测结果， 以预测结果构 建FC‑CRF 模型的一元势函数； 同时对多光谱图像计算CVA差异图与SA 光谱差异图， 用这两个差异图来 构建FC‑CRF模型的二元势函数； 进 而通过全连接条件随机场进行二次检测；权　利　要　求　书 2/4 页 3 CN 114841319 A 3