(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111665537.6 (22)申请日 2021.12.3 0 (71)申请人 北京科技大 学 地址 100083 北京市海淀区学院路3 0号 (72)发明人 王粉花　严由齐　郑嘉伟　林超　 (74)专利代理 机构 北京市广友专利事务所有限 责任公司 1 1237 代理人 张仲波　付忠林 (51)Int.Cl. G06T 11/00(2006.01) G06T 7/50(2017.01) G06T 5/00(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/774(2022.01) (54)发明名称 一种线稿上色方法及装置 (57)摘要 本发明公开了一种线稿上色方法及装置， 所 述方法包括： 收集彩色图像， 对收集的彩色图像 进行预处理， 根据预处理后的彩色图像生成线 稿， 并采用随机遮盖模糊法提取出相应的颜色提 示， 构建训练数据集； 在pix2pixGAN模型的生成 器模型的跳跃连接部分引入注 意力筛选机制， 以 对pix2pixGAN模型进行改进， 得到线稿上色模 型； 利用所述训练数据集对所述线稿上色模型进 行训练； 利用训练好的线稿上色模 型对待上色的 线稿进行上色。 本发明可以提高线稿上色结果的 准确性以及生成图片的质量， 并且在训练时可更 好的收敛， 防止震荡。 权利要求书2页 说明书7页 附图1页 CN 114387365 A 2022.04.22 CN 114387365 A 1.一种线稿上色方法， 其特 征在于， 包括： 收集彩色图像， 对收集的彩色图像进行预处理， 根据预处理后的彩色图像生成线稿， 并 采用随机遮盖模糊法提取 出相应的颜色提 示， 构建训练数据集； 在pix2pixGAN模型的生成器模型的跳跃连接部分引入注意力筛选机制， 以对 pix2pixGAN模型进行改进， 得到线稿上色模型； 利用所述训练数据集， 对所述线稿上色模型进行训练； 利用训练好的线稿上色模型， 对待上色的线稿进行 上色。 2.如权利要求1所述的线稿上色方法， 其特征在于， 所述收集彩色图像， 对收集的彩色 图像进行预处理， 根据预处理后的彩色图像生成线稿， 并采用随机遮盖模糊法提取出相应 的颜色提 示， 构建训练数据集， 包括： 收集彩色图像， 对收集的彩色图像进行预处理； 其中， 所述对收集的彩色图像进行预处 理， 包括： 对收集的彩色图像中的其中一部分图像进行旋转和镜像操作， 以实现数据扩充， 并对所有图像进行裁 剪； 其中， 裁 剪尺寸为256×256； 根据预处 理后的彩色图像生成线稿； 采用120个20 ×20大小的白色色块对彩色随机进行遮盖， 再取核大小为100 ×100的均 值滤波器对 遮盖后的图像进行模糊处 理， 得到彩色图像相应的颜色提 示； 将彩色图像及其相应的线稿和颜色提 示进行保存， 构建训练数据集。 3.如权利要求1所述的线稿上色方法， 其特征在于， 所述线稿上色模型的生成器模型包 括上采样模块， 下采样模块和注意力筛选模块； 其中， 所述线稿上色模型的生成器模型根据 线稿和相应的颜色提 示生成彩色图像的过程包括： 首先， 将大小为256 ×256的单通道线稿与对应的256 ×256×3的颜色提示在级联后送 入所述线稿上色模型的生成器模型， 然后经过多层下采样模块对图像进 行降维并提取各个 尺度的特征； 再经过上采样模块提取深层的信息， 每一次上采样都会与对应的特征提取部 分融合； 下采样 模块和上采样模块都是以ReLU(Rectified  Linear Unit， 线性修正单元)激 活层、 3×3卷积和BN(Batch  Normalization， 批标准化)层为基本单元， 并引入残差机制， 以 避免深层网络的梯度消失和退化问题； 下采样和上采样操作使用最大池化和反最大池化来 进行尺度的缩放； 在上采样操作之后， 再经过一个LeakyRelu激活层， 一个3 ×3卷积层和一 个Tanh激活层， 最终生成一个25 6×256的彩色图像； 所述注意力 筛选模块以当前网络层特征x和下一网络层特征g为输入， 经过卷积操作使 尺寸和通道数对齐并相加， 再使用ReLU激活和卷积操作进 行维度压缩， 然后经过Sigmoid激 活产生Attention系数， 最后将Attention系数上采样 到原始向量x的原始维度， 并与原始向 量x相乘再输出； 计算方式如下： 其中， σ1为ReLU激活函数， σ2为Sigmoid激活函数； Θatt包含了线性变换 均为1×1卷积， 为对应卷积的偏置 项； 向量 为当前网络层的第i个特 征， 向量gi为下一层中第i个特 征。权　利　要　求　书 1/2 页 2 CN 114387365 A 24.如权利要求1所述的线稿上色方法， 其特征在于， 所述线稿上色模型的判别器模型是 一个全卷积网络； 其中， 所述线稿上色模型 的判别器模型将线稿图与所述线稿上色模型 的 生成器模型输出 的生成图像或线稿图与真实 图像级联后作为输入， 经过多层卷积块后， 输 出一个30 ×30的矩阵； 所述矩阵中的每个值都是对原图像中一小块区域的判断， 将这些值 取平均作为判别器最后的输出。 5.如权利要求1所述的线稿上色方法， 其特征在于， 所述线稿上色模型的生成器模型的 损失函数为： LG＝ λl1Ll1+λadvLadv+λtvLtv 其中， 其中， Is是线稿图， Ih是颜色提示， Ir是真实图像， G为生成器， D为判别器， λl1、 λadv、 λtv为 权重， xi,j表示图像中坐标为(i,j)位置的像素值， β 是超参数； 分别表示 对于组合分布Ir、 Is的数学期望、 对于组合分布Ih、 Is的数学期望和对于组合分布Is、 Ih、 Ir的 数学期望。 6.如权利要求5所述的线稿上色方法， 其特征在于， 所述线稿上色模型的判别器模型的 损失函数为： LD＝‑λadvLadv 其中， 7.如权利要求1所述的线稿上色方法， 其特 征在于， 所述方法还 包括： 在对所述线稿上色模型进行训练的过程中， 加入学习率衰减机制， 帮助训练收敛， 防止 震荡； 其中， 所述学习率衰减机制的表达式为： 其中， α 为当前阶段优化器学习率， 每15轮进行一次学习率衰减操作。 8.一种线稿上色装置， 其特 征在于， 包括： 训练数据集构建模块， 用于收集彩色图像， 对收集的彩色图像进行预处理， 根据 预处理 后的彩色图像生成线稿， 并采用随机遮盖模糊法提取 出相应的颜色提 示， 构建训练数据集； 模型改进模块， 用于在pix2pixGAN模型的生成器模型的跳跃连接部分引入注意力筛选 机制， 以对pix2pixGAN模型进行改进， 得到线稿上色模型； 模型训练模块， 用于利用所述训练数据集， 对所述线稿上色模型进行训练； 上色模块， 用于利用训练好的线稿上色模型， 对待上色的线稿进行 上色。权　利　要　求　书 2/2 页 3 CN 114387365 A 3