(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210377959.1 (22)申请日 2022.04.12 (71)申请人 西安理工大 学 地址 710048 陕西省西安市碑林区金花 南 路5号 (72)发明人 李玉梅　蔺广逢　贺梦兰　魏文超　 (74)专利代理 机构 西安弘理专利事务所 61214 专利代理师 王丹 (51)Int.Cl. G06F 40/109(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) (54)发明名称 基于关联注意力的少样本文字风格迁移方 法 (57)摘要 本发明公开了基于关联注意力的少样本文 字风格迁移方法， 包括： 构建训练数据集和测试 数据集； 训练数据集包括内容参考集、 风格参考 集； 构建基于关联注意力的生成对抗网络， 生成 对抗网络包括生成器网路、 鉴别器网络； 设置损 失函数； 利用构建的损失函数训练生成对抗网 络； 利用测试数据集测试训练完的生成器网络， 完成少样 本文字风格迁移。 在 多对多字体的风格 迁移上表现良好， 模型充分提取了风格信息和内 容信息， 生成的字符笔画更加完整， 与真实值更 加相近， 在多域文字风格迁移中生成更高质量、 更和谐的字符图像 。 权利要求书2页 说明书9页 附图2页 CN 114742014 A 2022.07.12 CN 114742014 A 1.基于关联注意力的少样本文字风格迁移方法， 其特 征在于， 包括以下步骤： 步骤1、 构建训练数据集和 测试数据集； 所述训练数据集包括内容 参考集、 风格参 考集； 步骤2、 构建基于关联注意力的生成对抗网络， 所述生成对抗网络包括生成器网路、 鉴 别器网络； 步骤3、 设置损失函数； 步骤4、 利用步骤3构建的损失函数训练所述 生成对抗网络； 步骤5、 利用测试 数据集测试训练完的生成器网络， 完成少样本文字风格迁移。 2.根据权利要求1所述的基于关联注意力的少 样本文字风格迁移方法， 其特征在于， 步 骤2具体包括以下步骤： 步骤2.1、 构建生成器模块， 生成器网络包括内容特征提取模块、 风格特征提取模块及 解码模块； 步骤2.2、 构建鉴别器网络， 鉴别器包括内容 鉴别器和风格鉴别器。 3.根据权利要求2所述的基于关联注意力的少 样本文字风格迁移方法， 其特征在于， 所 述内容特 征提取模块用于将输入的源字体图像c 压缩为内容特 征向量fc： fc＝Ec(c)     (1)。 4.根据权利要求3所述的基于关联注意力的少 样本文字风格迁移方法， 其特征在于， 所 述风格特征提取模块包括5个卷积块、 关联注意力模块， 所述关联注意力模块包括上下文感 知注意力模块和相似性特 征注意力模块； 所述 风格特征提取模块的操作具体为： a.先将风格参考集按照通道维度拼接后经过第一、 二、 三层卷积层得到特征图v1， 再经 过第四层卷积层、 第五层卷积层分别得到特 征图v2、 v3； b.将特征图v1、 v2、 v3分别输入到上下文感知注意力模块得到具有上下文信息、 局部以 及全局信息的风格 变量fs1； c.将所述特征图v1、 内容特征向量fc输入到相似性特征注意力模块， 输出整合所有局部 风格信息的风格特 征fs2； d.最后， fs1和fs2相加融合得到最终的风格特 征fs： fs＝fs1+fs2    (11)。 5.根据权利要求4所述的基于关联注意力的少 样本文字风格迁移方法， 其特征在于， 上 下文感知注意力模块的操作具体为： b1.首先通过自注意力层整合特 征图{vr}r＝1： 3上下文信息， 得到特 征向量hr： hr＝fa(vr)    (2)； 上式中， fa表示自注意力层； b2.然后使用注意力机制给 所述每个特征向量hr的区域打 分， 得到注意力分数ar； b3.接着将所述注意力分数匹配到对应特征图vr上， 得到三个具有上下文信息的特征向 量{fr}r＝1： 3： fr＝vrar    (5)； b4.最后通过层级注意力网络为所述特征向量{fr}r＝1： 3打分， 得到隐变量z， 进而得到风 格特征fs1。 6.根据权利要求5所述的基于关联注意力的少 样本文字风格迁移方法， 其特征在于， 使 用注意力机制给 所述每个特征向量hr的区域打 分， 得到注意力分数ar具体包括：权　利　要　求　书 1/2 页 2 CN 114742014 A 2先将所述特 征向量hr输入到单层神经网络中得到ur： ur＝tanh(WChr+bc)               (3)； 上式中， WC、 bc表示可学习参数， tanh表示激活函数Tanh； 再通过softmax层得到标准 化的注意力分数ar： 上式中， uc是随机初始化向量， 表示向量ur的转置。 7.根据权利要求6所述的基于关联注意力的少 样本文字风格迁移方法， 其特征在于， 通 过层级注意力网络为所述特征向量{fr}r＝1： 3打分， 得到隐变量z， 进而得到风格特征fs1具体 包括： 首先为不同的特 征向量匹配不同的权 重： w1， w2， w3＝fl(ym)    (6)； 上式中， ym为将特征向量v3进行展平后的特征向量， 将ym输入到fl(·)中， fl层是一个全 连接层和softmax层， 再对输出按照通道进行划分， 得到 权重w1、 w2、 w3； 其次， 使用权 重w1、 w2、 w3为不同特征向量加权， 得到隐变量z： 通过隐变量z得到风格特 征fs1： 8.根据权利要求4所述的基于关联注意力的少 样本文字风格迁移方法， 其特征在于， 所 述相似性特 征注意力模块的操作具体为： c1.首先计算fc和v1注意力权 重 上式中， 表示v1在通道下的均值方差标准化， 同理。 f(·)和g(·)分别表示通道数 为256的1*1卷积单 元， 表示对 进行转置， softmax( ·)是一个softmax层； c2.再将注意力图匹配到特 征图v1上， 得到最终的风格特 征fs2： 上式中， h(·)表示通道数为25 6的1*1卷积单 元。 9.根据权利要求4所述的基于关联注意力的少 样本文字风格迁移方法， 其特征在于， 解 码模块的操作过程 为： 将内容特征图fc与风格特征fs在通道维度上拼接后输入解码 模块Dec生成具有源图像语 义信息和风格图像风格信息的目标字体图像x： x＝Dec(fc⊙fs)     (12)。 10.根据权利要求4所述的基于关联注意力的少样本文字风格迁移方法， 其特征在于， 所述鉴别器网络的具体操作为： 将所述目标字体图像x和内容图像c在通道维度上拼接， 输 入到内容鉴别器中， 判别拼接的图像是否与真值具有相同的内容； 将生成的图像x和风格图 像s在通道维度上拼接， 输入到风格鉴别器中， 判别拼接的图像是否与真值具有相同风格。权　利　要　求　书 2/2 页 3 CN 114742014 A 3