(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210043031.X (22)申请日 2022.01.14 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 张永强　丁明理　张子安　张印　 田瑞　王骢　 (74)专利代理 机构 哈尔滨华夏松花江知识产权 代理有限公司 23213 代理人 张利明 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/54(2022.01)G06V 10/56(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于生成对抗网络的火星图像增广方法 (57)摘要 一种基于生成对抗网络的火星图像增广方 法， 属于计算机视觉中图像增广技术领域。 针对 现有火星图像增广方法获得的火星图像分辨率 低、 无法控制图像类别以及训练不稳定的问题。 包括： 基于DCGAN的图像生成网络， 针对DCGAN难 以生成优质的高分辨率火星图像的问题， 使用渐 进式的网络训练方法进行精细地图像生成； 针对 GAN无法控制目标类火星图像生成的问题， 引入 风格迁移技术设计了可控的火星图像生成方法； 针对DCGAN训练不稳定而难以使火星车自主完成 训练的问题， 基于wasserstein距离设计了新的 损失函数。 本发明用于火星图像增广。 权利要求书2页 说明书12页 附图10页 CN 114387485 A 2022.04.22 CN 114387485 A 1.一种基于生成对抗网络的火星图像增广方法， 其特 征在于包括， 设置基于DCGAN的图像生成网络， 包括图像生成器和图像判别器， 所述图像生成器包括 特征层处理模块一至特征层处理模块八和卷积处 理模块； 特征层处理模块一对输入的随机隐码依次进行AdaIN操作、 卷积操作和AdaIN操作； 特 征层处理模块二至特征层处理模块八的网络结构相同， 分别对前一特征层处理模块输出的 火星图像依次进 行反卷积操作、 AdaIN操作、 卷积操作和AdaIN操作； 卷积处理模块对 特征层 处理模块八输出的火星图像进 行1×1卷积操作， 映射为 RGB模式的火星生成图像； 其中每个 AdaIN操作之前都通过一个全连接层将中间隐码映射为均值系数和方差系数； 每个反卷积 操作均实现2倍上采样功能； 特征层处理模块一至特征层处理模块八的尺度依次为4 ×4× 512、 8×8×512、 16×16×512、 32×32×512、 64×64×256、 128×128×128、 256×256×64 及512×512×32， 卷积处 理模块的尺度为512 ×512×3； 所述中间隐码采用风格迁移网络的多层感知机对随机隐码进行映射获得； 所述中间隐 码包含火星生成图像的目标属性特征； 所述AdaIN操作将中间隐码的目标属性特征迁移至 每个特征层处理模块； 所述图像判别器通过卷积层一至卷积层八将输入的512 ×512×3维的RGB模式火星生 成图像和火星真实 图像转化为判定结果； 其中卷积层一至卷积层七中， 每个卷积层后配置 带泄漏线性整流 函数层； 卷积层八后配置Sigmo id函数； 对基于DCGAN的图像生成网络采用由低到高， 逐分辨率递进式的训练方法， 使图像生成 器的八个特征层处理模块由前两个特征层处理模块起始对应图像判别器由后两个卷积层 起始进行迭代训练， 逐级顺次相应增加图像生成器的一个特征层处理模块和图像判别器的 一个卷积层进 行迭代训练， 直到图像生成器的八个特征层处理模块和图像判别器的八个卷 积层均参与迭代训练； 在每次迭代训练中， 基于w asserstein距离计算损失函数进行网络参数寻优； 最终完成 图像生成网络的训练， 获得训练后图像生成网络用于生成火星图像。 2.根据权利要求1所述的基于生成对抗网络的火星图像增广方法， 其特 征在于， 所述wasserstein距离为火星生成图像分布和火星真实图像分布之间的距离 。 3.根据权利要求2所述的基于生成对抗网络的火星图像增广方法， 其特 征在于， 基于wasserstein距离的计算结果， 图像判别器判断火星生成图像和 火星真实图像为 真的概率， 通过Sigmoid函数将卷积层八的输出映射到[0， 1]， 指示输入图像为真的概率， 所 述概率用于计算损失函数。 4.根据权利要求3所述的基于生成对抗网络的火星图像增广方法， 其特 征在于， 随机隐码z属于随机 分布 中间隐码w属于通过风格迁移网络学习得到的分布 分布 包含多个子空间， 每 个子空间控制图像的一个属性特 征。 5.根据权利要求 4所述的基于生成对抗网络的火星图像增广方法， 其特 征在于， 基于DCGAN的图像生成网络的训练方法包括： 首先， 使图像生成器的前两个特征层处理模块对输入的随机隐码进行处理， 经卷积处 理模块处理获得8 ×8×3的低维度火星生 成图像； 8 ×8×3的低维度火星生 成图像和8 ×8× 3的火星真实图像采用图像判别器的后两个卷积层进 行处理， 当迭代次数达到设定阈值时， 完成一级网络训练；权　利　要　求　书 1/2 页 2 CN 114387485 A 2将完成一级训练的图像生成器从前往后增加一个特征层处理模块对生成的8 ×8×3的 低维度火星生成图像继续进行处理， 再经卷积处理模块处理获得16 ×16×3维度的火星生 成图像， 同时使图像判别器从后往前增加一个卷积层对16 ×16×3维度的火星生成图像和 16×16×3的火星真实图像进行处理， 当迭代次数达到设定阈值时， 完成二级网络训 练；……； 直到获得512 ×512×3维度的火星生 成图像， 并且完成七级网络训练， 获得训练后 图像生成网络 。 6.根据权利要求5所述的基于生成对抗网络的火星图像增广方法， 其特 征在于， AdaIN操作包括： 将随机隐码z通过编码器映射为隐码空间 的特征x1， 将中间隐码w通过 编码器映射为隐码空间的特征y1， 再通过解码 器将特征x1和特征y1合成同时具有随机隐码 z和中间隐码w的特 征的合成图像。 7.根据权利要求6所述的基于生成对抗网络的火星图像增广方法， 其特 征在于， wasserstein距离 的计算方法包括： 式中x为火星真实图像， x属于火星真实图像分布 G(z)为随机隐码z经过图像生成器 后得到的火星生 成图像， G(z)属于生成图像的分布 γ为真实图像和生 成图像的联合 分布； 为均值。 8.根据权利要求7 所述的基于生成对抗网络的火星图像增广方法， 其特 征在于， 采用训练后图像生成网络生成高质量火星图像， 所述高质量火星图像与NASA公开的火 星真实图像构成火星图像数据集， 供基于 视觉火星探测任务使用。权　利　要　求　书 2/2 页 3 CN 114387485 A 3