(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221048540 6.8 (22)申请日 2022.05.06 (71)申请人 合肥综合 性国家科 学中心人工智能 研究院 （安徽省人工智能实验室） 地址 230000 安徽省合肥市望江西路5 089 号， 中国科学技术大学先进技术研究 院未来中心B120 5-B1208 (72)发明人 李泽瑞　朱世龙　胡峰　康宇　 吕文君　 (74)专利代理 机构 合肥天明专利事务所(普通 合伙) 34115 专利代理师 苗娟 (51)Int.Cl. G06T 7/00(2017.01) G06K 9/62(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于DCGAN的多尺度图像变化检测方法及存 储介质 (57)摘要 本发明公开一种基于DCGAN的多尺度图像变 化检测方法及存储介质， 搭建了一个多尺度变化 检测网络， 采用基于DCGAN的半监督方法对样本 数据进行扩充， 以满足 网络训练需求； 另一方面， 采用多尺度网络结构， 可以更好的检测多尺度目 标， 尤其是在一些不规则、 不确定的变化场景， 或 者多目标、 多尺度的变化检测场景下， 可 以有出 色表现。 本发明先对DCGAN训练产生大量的和源 域相似的变化检测样本， 用于训练判别器， 使其 具有良好的特征提取功能以及判别图像真伪能 力， 增强该网络的准确性和稳定性， 把它当做检 测网络的双通道特征提取器。 还增加了多尺度特 征模块提取不同阶段的卷积特征， 增强对不同尺 度目标的检测能力。 权利要求书3页 说明书7页 附图2页 CN 115330671 A 2022.11.11 CN 115330671 A 1.一种基于DCGAN的多尺度图像 变化检测方法， 其特 征在于， 包括以下步骤， S1、 收集同一位置两个不同时期的配准图像及其变化区域的标注数据， 裁剪为设定大 小作为真实样本数据集 合分别记为R 1， R2和变化图真值GT； S2、 将步骤S1中的真实图像样本集合(R1、 R2)中的一批输入到深度卷积生成对抗网络 DCGAN网络的判别器D中， 初步训练判别器D的特征提取和判别真伪能力， 然后把这些真实样 本和随机噪声z一同输入到初始化好的DC GAN网络的生 成器G中， 训练以使其生 成器G生成混 淆真伪图像的合成图像； S3、 将步骤S2中生成的合成图像样本和真实图像样本一同输入到DCGAN网络的判别器D 中， 判断图像真伪， 使判别器D具有判别图像真伪和图像特 征提取的功能； S4、 循环迭代S2、 S3步骤训练生成器G和判别器D， 直到DCGAN网络训练完成， 并把最终 DCGAN网络生成的较好 合成图像作为数据集G(z)； S5、 先从真实图像样本集合(R1、 R2)中取一批图像及合成图像集合G(z)中取一批图像 组成不同时相的成对图像输入到多尺度变化检测网络MCDN中进 行初步训练， 再从真实图像 样本集合(R1、 R2)中取不同时相的成对图像对网络进行微调， 当网络的损失函数收敛时即 训练好网络； S6、 对于一对待测变化图像， 将其输入到S5中训练好的MCDN网络中， 其输出即为变化预 测结果。 2.根据权利要求1所述的基于DCGAN的多尺度图像变化检测方法， 其特征在于， 所述步 骤S2中的深度卷积生成对抗网络DCGAN， 它由生成器G和判别器D组成， 生成器G可以通过输 入真实样本和随机噪声生成合成图像， 判别器D具有对输入的图像做特征提取以及判别 真 伪的功能。 3.根据权利要求1所述的基于DCGAN的多尺度图像变化检测方法， 其特征在于， 所述步 骤S5中MCDN网络的结构为： MCDN网络包括双通道多尺度特征提取网络Net1、 特征差分网络 Net2以及特征融合网络Net3， 其中双通道多尺度特征提取网络Net1使用所述步骤S4中训练 好的判别器D的卷积层和多尺度特 征模块构成。 4.根据权利要求1所述的基于DCGAN的多尺度图像变化检测方法， 其特征在于， 所述步 骤S5中训练M CDN网络的具体步骤： S51、 初步训练 阶段， 先从真实图像集合中取一批图像， 取合成图像 中的一批图像， 组成 不同时相的成对图像输入到多尺度变化检测网络MCDN中， 对于每一对图像进 行预测变化结 果得到CMM2， 并计算输入图像的变化幅度图M， 然后归一化得到CMM1， 根据CMM1与CMM2计算损 失， 其中C MM1的计算方法， 具体为： 其中X1j和X2j分别表示X1和X2的第j个通道的像素值矩阵， X1表示真实图像， X2表示合成权　利　要　求　书 1/3 页 2 CN 115330671 A 2图像， j的取值是从1到c， c为通道总数； 其中 常数α 的取值由不同 的数据集确定， CMM1是一个和输入图像行列数相同的二值矩阵， 1、 0分别代表是否变化； 其 中 S52、 微调网络阶段， 从真实图像集合中取一批成对的不同时相图像， 输入MCDN网络进 行预测， 通过反向传播优化网络参数， 直到损失函数收敛； S53、 对于S51、 S52中MCDN网络预测变化结果的过程， 具体包括， 用双通道多尺度特征提 取网络Net1分别对输入的一对图像做卷积操作， 特征提取， 然后取后6层的特征映射分别表 示为 送入特征差分网络Net2中， 以更好的提取多尺度特征； 具体过程 为： 其中Upsample(*)表示上采样 操作； S54、 用Net2对多尺度特征进行特征差分计算， 然后把结果送入特征融合网络Net3里 面， 特征差分计算公式表示 为： 其中FDi表示特征差异图像； S55、 Net3的操作过程如 下， 首先把Net2输出的五幅特征差异图像直接采用上采样的方 法， 分别放大到和 输入图像一样的尺寸大小， 最后按元素相加； 再用Sigmoid函数得到每个 像素变化的概率值， 取阈值T产生二值图像， 是一个和输入图像行列数相同的二值矩阵， 即 为预测结果C MM2， 其计算公式如下： S56、 基于CMM2， MCDN网络的损失函数定义 为： 其中， L为 交叉熵损失函数的变形， β‑表示负样本即无变化像素的数量与总数的比率， β+ 表示正样本即变化像素的数量与总数的比率， β‑+β+＝1； W是根据每个像素的变化幅度信 息 生成的权重矩阵， 范围从0到1； yn和 分别表示第n个像素的真值和网络预测值， 其中初步 训练阶段yn来自CMM1， 微调网络阶段来自GT， 来自CMM2， n的取值是从1到N， N为图像像素 总数； 其中W表示 为： 权　利　要　求　书 2/3 页 3 CN 115330671 A 3