(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210823652.X (22)申请日 2022.07.13 (71)申请人 厦门理工学院 地址 361024 福建省厦门市集美区理工路 600号 (72)发明人 王大寒　罗国锋　尹华一　朱顺痣　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 郭东亮　蔡学俊 (51)Int.Cl. G06V 30/18(2022.01) G06V 30/19(2022.01) G06V 30/28(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于关键偏旁部首分析的零样本汉字 识别方法 (57)摘要 本发明提出一种基于关键偏旁部首分析的 零样本汉字识别方法， 包括以下步骤； 步骤S1： 获 取汉字图像建立汉字识别数据集； 步骤S2： 把数 据集中的每个汉字表示为唯一的树状结构， 进行 先序遍历， 获取汉字表意描述序列； 步骤S3： 建立 汉字表意描述序列生成模型； 步骤S4： 使用汉字 识别数据集对汉字表意描述序列生成模型进行 深度学习训练； 步骤S5： 以深度学习训练后的汉 字表意描述序列生成模型经汉字表意描述序列 生成模型， 生成汉字的表意描 述序列； 步骤S6： 建 立关键偏旁部首分析模型； 步骤S7： 根据生成的 汉字表意描述序列， 使用关键偏旁部首分析模型 对汉字类别进行预测。 本发明能将汉字识别问题 转化为不确定性消除问题， 提高模 型对预测表意 描述序列的利用能力。 权利要求书3页 说明书7页 附图5页 CN 115187997 A 2022.10.14 CN 115187997 A 1.一种基于关键偏旁部首分析的零样本汉字识别方法， 其特 征在于： 包括以下步骤； 步骤S1： 获取汉字图像建立汉字识别数据集； 步骤S2： 把数据集中的每个汉字表示为唯一的树状结构， 对树型结构进行先序遍历， 获 取汉字表意描述序列； 步骤S3： 建立汉字表意描述序列生成模型； 步骤S4： 使用汉字识别数据集对汉字表意描述序列生成模型进行深度学习训练， 使其 具有识别偏旁部首 所在区域的能力， 其循环神经网络具 备预测汉字偏旁部首序列的能力； 步骤S5： 以深度学习训练后的汉字表意描述序列生成模型的注意力机制， 使得在每一 个时间步t内模型仅仅关注图片 中的对应偏旁部首 的可能区域， 经汉字表意描述序列生成 模型， 生成汉字的表意描述序列； 步骤S6： 建立关键偏旁部首分析模型； 步骤S7： 根据生成的汉字表意描述序列， 使用关键偏旁部首分析模型对汉字类别进行 预测。 2.根据权利要求1所述的一种基于关键偏旁部首分析的零样本汉字识别方法， 其特征 在于： 在步骤S2中， 将汉字 分解成偏旁部首和结构信息， 并且将其作为已见类汉字和未见类 汉字之间的公共信息 。 3.根据权利要求1所述的一种基于关键偏旁部首分析的零样本汉字识别方法， 其特征 在于： 在步骤S 3中， 所述汉字表 意描述序列生成模型包含 特征提取模块F和表 意描述序列生 成模块G； 所述特征提取模块F包含一个卷积层和三个串行连接的稠密连接块， 汉字图像x输入F 后依次输入卷积层和稠密连接块逐层提取图像的高维特征， 第一个稠密连接块的输入是经 过卷积变换的汉字图像低维特征图， 第二个和 第三个稠密连接块的输入为上一层稠密连接 块的输出， 最后得到汉字图像的高维特 征表示f(x)； 所述表意描述序列生成模块G包含： 一个隐藏状态表示层fh、 一个注意力层fα、 一个偏旁 部首表征层fr， 一个偏旁部首识别层fp； 在表意序列生成模块G的每个时间步中， 将上一时间步识别的偏旁部首yt‑1， 和上一时 间步的偏旁部首特征表示st‑1输入隐藏状态表示层fh生成当前时间步的准确对齐信息 然 后将 汉字图像的高维特征表示f(x)和当前时间步的注意力权重αt输入到注意力层fα生 成当前时间步的覆盖 向量ct， 之后将ct和 输入偏旁部首表示层生成预测偏旁部首的特征 表示st， 最后将st输入偏旁部首识别层fp对其进行识别， 上述过程可表示 为： 4.根据权利要求3所述的一种基于关键偏旁部首分析的零样本汉字识别方法， 其特征 在于： 隐藏状态表示层fh包含一个 门控循环单元， 将yt‑1和st‑1输入门控循环单元后输出当 前时间步的准确对齐信息； 注意力权 重αt的计算使用覆盖注意力机制； 偏旁部首表征层fr包含一个门控循环单元， 将ct和 输入门控循环单元后输出预测偏权　利　要　求　书 1/3 页 2 CN 115187997 A 2旁部首的特 征表示。 5.根据权利要求4所述的一种基于关键偏旁部首分析的零样本汉字识别方法， 其特征 在于： 覆盖注意力机制将之前时间步的注意力融入当前注意力的计算中， 缓解多次注意同 一区域的问题， 其过程以公式表示 为： 6.根据权利要求3所述的一种基于关键偏旁部首分析的零样本汉字识别方法， 其特征 在于： 偏旁部首识别层fp通过度量偏旁部首表示st和偏旁部首原型之间的相似度， 将最相似 的原型所属的类别作为待识别偏旁部首的类别， 上述过程可表示 为： 其中， gi(st)是st属于类别i的得分函数， 将欧式距 离的负数作为得分函数来度量st和偏 旁部首类原型之间的相似程度。 7.根据权利要求1所述的一种基于关键偏旁部首分析的零样本汉字识别方法， 其特征 在于： 步骤S4中， 所述深度学习训练方法为AdaDelta方法， 汉字表 意描述序列生 成模型通过 基于距离的交叉熵损失Ldce和原型损失Lpl进行训练， 学习 汉字表意描述序列生成模型的最 优参数； 基于距离的交叉熵损失Ldce表达式为： Ldce＝‑log p(mi|st)       公式八； 其中， mi是第i类偏旁部首的原型， st是时间步t的偏旁部首表示； 原型损失Lpl表达式为： 8.根据权利要求1所述的一种基于关键偏旁部首分析的零样本汉字识别方法， 其特征 在于： 步骤S6中， 所述关键偏旁部首分析模型是通过对基于偏旁部首的零样本汉字识别方 法从信息论角度进行建模得到的， 所述建模过程如下： 设汉字X的表意描述序列 记为IDS(X)＝r1， r2， ...， rn， 其中， r1到rn表示偏旁部首类别， n 表示表意描述序列包含偏旁部首的个数， 在识别汉字前， 汉字X存在不确定性H(X)， 消除不 确定性的方法是识别出汉字对应表意描述序列IDS(X)中的偏旁部首， 不同的偏旁部首消除 汉字不确定性的程度不同， 由此， 将汉字识别问题转化为不确定性消除问题， 将预测的表 意 描述序列中的偏旁部首作为获得 的信息， 通过迭代的方式， 在每次迭代中选择出对消除汉 字不确定性最高的偏旁部首作为关键偏旁部首来缩小候选汉字的范围， 直到能够确定这个权　利　要　求　书 2/3 页 3 CN 115187997 A 3