(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210742449.X (22)申请日 2022.06.27 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 申请人 嘉兴市恒创电力设备有限公司 (72)发明人 丁楫刚　厉小润　仇群辉　王晶　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 郑海峰 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/11(2017.01)G06V 10/26(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于Transformer的高光谱图像变化检测方 法及装置 (57)摘要 本发明针对目前大多数高光谱变化检测方 法受到有 限的感受野和仅单独使用光谱信息或 空间信息的限制， 提出了一种基于Transformer 的高光谱图像变化检测方法及装置。 方法包括： (1)图像预处理； (2)构造基于Transformer的深 度学习网络； (3)深度学习网络模型训练； (4)预 测高光谱图像变化检测结果。 本发 明所提出的方 法具有全局的时空感受野， 能够获取任意空间、 时间距离的像素之间的相关性， 并且只需少量标 记样本即可提取加权的空间 ‑光谱‑时间联合特 征， 有效学习了双时相高光谱图像 之间的变化规 则， 提高了 变化检测的精度。 权利要求书3页 说明书6页 附图3页 CN 115131313 A 2022.09.30 CN 115131313 A 1.基于Transformer的高光谱图像 变化检测方法， 其特 征在于， 包括以下步骤： 步骤1)： 图像预处理， 从双时相高光谱图像 中选取对应 中心像素周围正方形邻域， 并分 别按照光 栅扫描顺序将图像块展开， 得到对应 像素序列对； 步骤2)： 构造基于Transformer的深度学习网络模型， 首先为1层参数共享的全连接孪 生神经网络， 之后为1层时空信息编码层， 再之后为4层 Transformer编码器层， 然后是1层进 行特征融合的平均池化层， 之后为 1层全连接神经网络， 最后通过Softmax层 进行分类输出， 利用随机参数作为网络的初始权 重； 步骤3)： 将步骤1)中所得像素序列对及其标签作为训练样本， 对基于Transformer的网 络模型进行训练， 调整网络参数权 重， 得到训练后的深度学习网络模型； 步骤4)： 待检测图像经过图像预处理之后， 利用训练后的深度学习网络模型， 提取像素 特征， 得到变化检测结果， 实现对高光谱图像的变化检测。 2.根据权利要求1所述的基于Transformer的高光谱图像的变化检测方法， 其特征在于 步骤1)中， 选取对应中心像素周围正方形邻域， 具体为： 在图像中心像素周围选取大小一样 的图像邻域， 即以步长为1， 将图像分割为大小都为w ×w的正方形图像块， 其中w表 示分割成 的正方形图像块 边长的像素尺寸。 3.根据权利要求1所述的基于Transformer的高光谱图像的变化检测方法， 其特征在 于， 步骤2)中1层参数共享的全连接孪生神经网络用于将像素序列对映射至指定维度的向 量空间， 具体为： 令X1和X2分别为T1和T2时刻高光谱图像对应中心像素的像素序列， 计算公式如下： Xt′＝WTXt    (1) 其中Xt表示Tt(t＝1， 2)时刻图像的像素序列， W表示全连接孪生神经网络的权重参数， Xt′表示Xt经映射后的像素序列。 4.根据权利要求1所述的基于Transformer的高光谱图像的变化检测方法， 其特征在 于， 步骤2)中时空信息编码层为像素序列对添加空间位置编码和时间信息编码， 之后将对 应像素序列对拼接， 并在中间添加SEP  Token作为分隔符， 具体为： 其中 为像素序列中添加时空信息编 码后的第i个像素， Li和Si分别表示每个像素序列 中的第i个像素 的空间位置编码和时间信息编码， 同一像素序列中各像素 的时间信息编码 相同； 时间信息编码与SEP  Token均由词嵌入函数生成， 空间位置编码Li由Sinusoidal位置 编码函数生成， 位置编码的维度与映射后的像素向量维度相同。 5.根据权利要求1所述的基于Transformer的高光谱图像的变化检测方法， 其特征在 于， 步骤2)中Transformer编码器层的网络结构为： 1层多头注意力机制层， 之后为softmax 层与残差连接， 之后为层归一 化层， 最后是 前馈神经网络层， 具体为： 1)多头注意力机制层计算输入像素序列的query、 key和value， 然后计算自注意力， 最 后计算多头注意力， 公式如下： headi＝Attention(EWiQ， EWiK， EWiV)    (4) MultiHead＝Co ncat(head1， head2， ...， headh)WO    (5)权　利　要　求　书 1/3 页 2 CN 115131313 A 2其中Q、 K和V是由query、 key和value向量组成的矩阵， WQ∈Rd×d/h 、 WK∈Rd×d/h和WV∈Rd×d/h分别是Q、 K和V矩阵的映射参数， WO是映射参数， h为注意力头的 个数， dk为key向量的维度， E为经 由时空信息编码层得到的像素序列， Attention表示自注 意力， headi为第i个注意力头的自注意力， Concat表示将各矩阵在矩阵行方向上进行拼接， MultiHead表示 最终的多头注意力； 2)多头注意力经softmax后与原始输入相加， 再进行层归一化。 层归一化的计算公式如 下： 其中g是放缩参数， b是偏置参数， X＝(x1， x2， ...， xd)是当前层的输入， E(X)表示X的期 望值， Var(X)表示X的均方根， ε＝1 ×107用于防止分母为0， 表示归一 化后的X； 3)经层归一化后的特征输入至前馈神经网络层得到最终的输出特征， 其中前馈神经网 络由1层全连接神经网络、 ReLU激活函数以及1层全连接神经网络构成， 计算公式如下： FFN(x)＝max(0， xW1+b1)W2+b2    (7) 其中W1、 W2分别表示第1层、 第2层全连接神经网络的权重参数， b1、 b2分别表示第1层、 第2 层全连接神经网络的偏置参数。 6.根据权利要求1所述的基于Transformer的高光谱图像的变化检测方法， 其特征在 于， 步骤2)中， 平均池化层沿像素序列长度方向对编码 器层学习到的特征进 行平均池化， 得 到融合后的联合加权空间 ‑光谱‑时间特征， 然后 将联合加权特征输入至1层输出为2维的全 连接神经网络， 然后将网络 输出结果经过soffmax层进行分类输出。 7.根据权利要求1所述的基于Transformer的高光谱图像的变化检测方法， 其特征在于 步骤3)中， 选取3％的像素序列对及其标签作为训练样本， 输入至深度学习网络模型， 中心 像素的标签作为预测结果， 将标签与模型预测值之间的交叉熵误差作为损失函数， 通过 AdamW算法更新网络参数。 8.根据权利要求1所述的基于Transformer的高光谱图像的变化检测方法， 其特征在于 步骤4)中， 将待检测的双时相高光谱图像按照步骤1)所述预处理之后， 输入至训练后的深 度学习网络模型， 提取加权的空间 ‑光谱‑时间联合特 征， 得到变化检测结果。 9.一种实施权利 要求1所述方法的基于Transformer的高光谱图像变化检测装置， 其特 征在于， 包括： 图像采集模块， 用于采集进行变化检测的双时相高光谱图像； 图像预处理模块， 用于将双时相高光谱图像分割成大小相等的图像块， 然后按照光栅 扫描顺序展开 为像素序列对； 基于Transformer的深度学习网络模块， 用于将像素序列对进行编码， 以提取加权的空 间‑光谱‑时间联合特 征； 变化检测结果预测模块， 用于将提取的加权联合特 征进行变化检测结果预测； 变化检测结果输出模块， 用于 输出变化检测结果图。 10.根据权利要求9所述的基于Transformer的高光谱图像变化检测装置， 其特征在于， 基于Transformer的深度学习网络模块包括以下子模块： 1)线性映射模块， 用于将像素序列映射至指定维度的向量空间；权　利　要　求　书 2/3 页 3 CN 115131313 A 3