(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211163505.0 (22)申请日 2022.09.23 (71)申请人 内蒙古工业大 学 地址 010080 内蒙古自治区呼和浩特市土 默特左旗内蒙古工业大 学金川校区 (72)发明人 苏依拉　李作玲　仁庆道尔吉　 吉亚图　乌尼尔　路敏　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 段俊涛 (51)Int.Cl. G06V 30/19(2022.01) G06V 10/82(2022.01) G06F 40/58(2020.01) G06F 40/30(2020.01) (54)发明名称 一种基于CRNN网络和语义关联的手写体蒙 语段落识别翻译方法 (57)摘要 一种基于CRNN网络和语义关联的手写体蒙 语段落识别翻译方法， 基于CRNN网络识别手写体 蒙语； CRNN网络包括卷积网络、 循环网络和转录 网络； 卷积网络从手写体蒙语的图片中提取得到 图像特征序列； 循环网络根据图像特征序列预测 得到一个输出向量； 转录网络对输出向量以及标 签长度和标签内容进行联合训练， 完成不定长文 本序列的识别， 输出最优序列； 结合单词语义关 联度、 句子语义关联度和段落翻译信息调序规 则， 联合训练神经机器翻译模型， 确定最佳的模 型参数； 将最优序列输入到训练好的模型中， 实 现段落的机器翻译。 本发明提高了文本信息提取 效率和性能， 引入语义关联度联合训练神经机器 翻译模型， 极大地 提高翻译速度。 权利要求书3页 说明书7页 附图4页 CN 115512363 A 2022.12.23 CN 115512363 A 1.一种基于CRNN网络和语义关联的手写体蒙语段落识别翻译方法， 其特征在于， 包括 如下步骤： 步骤1， 基于 CRNN网络识别手写体蒙语； 所述CRNN网络包括卷积网络、 循环网络和转录网络； 所述卷积网络用于从手写体蒙语 的图片中提取得到图像特征序列； 所述循环网络用于根据所述图像特征序列预测得到一个 输出向量； 所述转录网络用于对所述输出向量以及标签长度和标签内容进行联合训练， 完 成不定长文本序列的识别， 输出最优序列； 步骤2， 结合单词语义关联度、 句子语义关联度和段落翻译信息调序规则， 联合训练神 经机器翻译模型， 确定最佳的模型参数； 步骤3， 将所述 最优序列输入到训练好的模型中， 实现段落的机器翻译。 2.根据权利要求1所述基于CRNN网络和语义关联的手写体蒙语段落识别翻译方法， 其 特征在于， 所述 步骤1包括： 步骤1.1， 采集手写体蒙语的图片并进行预处理， 将预处理后的图片输入卷积网络得到 特征图， 获得图像特 征序列， 所述卷积网络为VG G网络； 步骤1.2， 将所述图像特征序列输入到循环网络， 预测得到一个输出向量， 所述循环网 络为双向LSTM网络； 步骤1.3， 将所述输出向量作为输入添加到转录网络中， 使用CTC损失函数对所述输出 向量以及标签长度和标签内容进行 联合训练。 3.根据权利要求2所述基于CRNN网络和语义关联的手写体蒙语段落识别翻译方法， 其 特征在于， 所述步骤1.1， 预 处理包括灰度化、 归一化、 二值化、 去噪处理和形态学处理； 所述 VGG网络为改进的VGG网络， 其改进是在标准的VGG ‑16卷积网络基础上， 将13个卷积层改为7 个卷积层， 并取消3个全连接层， 每个卷积层 采用滑动步长为 1的3×3的卷积核， 在每个卷积 层后面跟着一个BN层和一个LeakyRule激活层。 4.根据权利要求3所述基于CRNN网络和语义关联的手写体蒙语段落识别翻译方法， 其 特征在于， 所述改进的VGG网络的结构为卷积层 ‑池化层‑卷积层‑卷积层‑池化层‑卷积层‑ 卷积层‑池化层‑卷积层‑卷积层‑池化层， 根据池化层的位置将其分为4个卷积段， 各卷积层 依次进行图像特征提取， 前3个卷积段， 每个卷积段后的池化层的池化核大小为2 ×2， 对图 片进行降维； 最后一个卷积段后的池化层的池化核大小为2 ×1， 从而在卷积最后提高图片 特征提取的效果； 最后得到的图片特征是1*58*512， 在最后一个卷积段后面采用squeeze函 数和reshape函数对输出向量重新组织， 最后输出向量 为64*512作为双向LSTM网络的输入。 5.根据权利要求1所述基于CRNN网络和语义关联的手写体蒙语段落识别翻译方法， 其 特征在于， 所述 步骤2包括： 步骤2.1， 利用蒙语段落编码器对蒙语段落信息编码； 步骤2.2， 采用RelA rtNet算法计算单词语义关联度与句子语义关联度； 步骤2.3， 以语义关联度数据为基础， 构建段落翻译信息调序模型， 确定段落翻译信息 调序规则； 步骤2.4， 结合单词与句子语义关联度和段落翻译信息调序规则， 利用联合训练方法训 练神经机器翻译模型。 6.根据权利要求5所述基于CRNN网络和语义关联的手写体蒙语段落识别翻译方法， 其权　利　要　求　书 1/3 页 2 CN 115512363 A 2特征在于， 所述蒙语段落编码器为融合 RNN与SAN的编码 器， 数据首先通过RNN的输入层 进入 RNN进行编码， 在RNN前 向传播中加 入了SAN中的堆叠注意力， 构成RNN与SAN对数据的融合， 最终由RN N的输出层输出。 7.根据权利要求5所述基于CRNN网络和语义关联的手写体蒙语段落识别翻译方法， 其 特征在于， 所述单词语义关联度计算公式如下： 其中， F(gi,gj)表示单词gi与单词gj之间的语义关联度； α*与β*表示jaccaard指数计算 的辅助参 数， 取值范围为[1， 10]； mgi,L表示单词gi在段落L中的重要程度， mgj,L表示单词gj在 段落L中的重要程度； ξi,L表示单词gi在段落L中出现的次数； ∑kξk,L表示段落中包 含单词gi的句子的数量 k； 所述句子语义关联度计算公式如下： 其中， F(ti,tj)表示蒙语句子pi与蒙语句子pj的语义关联度； levenshtein(ti,tj)表示 英语句子ti与tj的编辑距离； |ti|,|tj|表示句子中的单词数量。 8.根据权利要求5所述基于CRNN网络和语义关联的手写体蒙语段落识别翻译方法， 其 特征在于， 所述段落翻译信息调序模型中， 包含单调、 交换和非连续三个调序方向， 调序类 别由当前目标短语与前面短语对应的源短语的对齐消息进行判定， 具体如下式： 其中， o(前向)表示前向关系时的调序方向， o(后向)表示后向关系时的调序方向， d(·) 表示(·)的对齐信息， 即da‑1,x‑1表示(a‑1,x‑1)的对齐信息， 如果对齐结果为1， 否则为0， db+1,x‑1表示(b+1,x ‑1)的对齐信息， 如果对齐 结果为1， 否则为0， |da‑1,x‑1‑db+1,x‑1|表示(a‑1, x‑1)和(b+1,x ‑1)对齐信息相减的绝对值， db+1,y+1表示(b+1,y+1)的对齐信息， 如果对齐结 果为1， 否则为0， da‑1,y+1表示(a‑1,y+1)的对齐信息， 如果对齐结果为1， 否则为0， |db+1,y+1‑ da‑1,y+1|表示(b+1,y+1)和(a ‑1,y+1)的对齐信息相减的绝对值。 9.根据权利要求5或8所述基于CRNN网络和语义关联的手写体蒙语段落识别翻译方法， 其特征在于， 所述段落翻译信息调序模 型中， 以(a,b)表 示段落翻译信息的原始 位置， (x,y)权　利　要　求　书 2/3 页 3 CN 115512363 A 3