(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210823282.X (22)申请日 2022.07.13 (71)申请人 厦门理工学院 地址 361024 福建省厦门市集美区理工路 600号 (72)发明人 王大寒　吴岳峰　周伟　朱顺痣　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 郭东亮　蔡学俊 (51)Int.Cl. G06V 10/82(2022.01) G06V 30/18(2022.01) G06V 30/19(2022.01) G06V 30/32(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于局部特征图实时更新的联机手写中文 文本行识别方法 (57)摘要 本发明提出基于局部特征图实时更新的联 机手写中文文本行识别方法， 包括以下步骤； 步 骤S1、 初始化实时识别模型； 步骤S2、 在启动笔画 输入时， 以笔尖触碰手写设备的手写面为开始标 志； 步骤S3、 采集联机手写中文文本 行轨迹， 记录 笔画的坐标点序列， 以提笔作为一个笔画的结束 标志； 步骤S4、 截取新输入的笔画对应的局部图 像， 进行预处理； 步骤S5、 计算新输入笔画对应的 局部图像的CNN特征， 将新特征替换到上一次的 特征图上， 实现新笔画的局部特征实时更新； 步 骤S6、 使用语言模型解码更新识别结果， 实现文 本行实时识别； 本发明速度大幅提升， 具有较低 的图像大小依赖性、 较强的可拓展性与鲁棒性， 能用于各种资源受限的嵌入式设备中， 具有较高 的应用价 值。 权利要求书2页 说明书5页 附图3页 CN 115131648 A 2022.09.30 CN 115131648 A 1.基于局部特征图实时更新的联机手写中文文本行识别方法， 用于手写文本的实时识 别， 其特征在于： 包括以下步骤； 步骤S1、 初始化实时识别模型； 步骤S2、 在启动笔画输入时， 以笔尖触碰手写设备的手写面 为开始标志； 步骤S3、 采集联机手写中文文本行轨迹， 记录每一个笔画的坐标点序列， 以提笔作为一 个笔画的结束标志； 步骤S4、 截取新输入的笔画对应的局部图像， 并对其进行 预处理； 步骤S5、 计算新输入笔画对应的局部图像的CNN特征， 将新特征替换到上一次的特征图 上， 实现新笔画的局部特 征实时更新； 步骤S6、 使用CTC结合n ‑gram语言模型解码更新识别结果， 实现联机手写中文文本行实 时识别。 2.根据权利要求1所述的基于局部特征图实时更新的联机手写中文文本行识别方法， 其特征在于： 在步骤S1中， 实时识别模型包括一个深度卷积神经网络编码器、 一个RNN解码 器、 以及CTC与语言模 型转录层； 实时识别模 型在初始 化时， 先初始 化一张预设高度和宽度， 且像素值全零的文本行图像， 再将文本行图像送入手写文本行识别模型， 得到手写文本行 识别模型中每一个卷积层、 池化层的全局输出 特征图， 用于后续的实时特 征更新。 3.根据权利要求2所述的基于局部特征图实时更新的联机手写中文文本行识别方法， 其特征在于： 所述文本行图像的高度、 宽度与实际手写场景匹配， 手写文本的书写顺序是从 左到右且允许倒插笔， 手写 文字的大小与文本行图像的尺寸匹配。 4.根据权利要求2所述的基于局部特征图实时更新的联机手写中文文本行识别方法， 其特征在于： 步骤S1 中， 实时识别模型在CRNN的基础上进 行图像的特征提取， 其中网络中的 池化层都设置为平均池化， 除了前两个卷积层， 后面 其他所有卷积层后都接着批归一 化层； 实时识别模型使用7个卷积层以及4个池化层来提取特征， 对应的卷积核个数即输出的 特征图数， 7个卷积层的卷积核个数分别为{64,128,256,256,256,512,  512}， 最后使用一 个全局平均池化层将图像池化到高度为1， 全局平均池化过程宽度保持不变； 实时识别模型RNN部分使用的是两层堆叠的双向LSTM， 隐藏层节点数为256。 最后经过 CTC与Beam  Search引入语言模型进行最终解码。 5.根据权利要求2所述的基于局部特征图实时更新的联机手写中文文本行识别方法， 其特征在于： 步骤S 3中， 采集联机手写中文文本行轨迹， 记录每一个笔画的坐标点序列并表 示为(x1， y1)， (x2， y2)， …， (xn， yn)， 以提笔作为 一个笔画的结束标志。 6.根据权利要求2所述的基于局部特征图实时更新的联机手写中文文本行识别方法， 其特征在于： 步骤S4中， 截取新输入的笔画对应局部图像并进行预处理； 具体为： 当用户输 入一个新的笔画后， 先求出该笔画的左右两个x轴 边界， 记为L， R， 设卷积核大小为3 ×3， 且 需加入边界两边各2列像素， 由此 得到截取的局部图像M大小为： 其中， H、 W分别为图像的高度和宽度； 公式一右侧上两行分别对应的第一种情况、 第二权　利　要　求　书 1/2 页 2 CN 115131648 A 2种情况， 分别是笔画边界在原图左右两边缘的情况， 公式一右侧第三行对应的第三种情况 为笔画书 写后截取的局部图像是左右边界各扩充2列像素组成的矩形区域； 第一种情况是在原图左边缘(L≤1)， 这时候右边界扩充2列像素， 左边界扩充到左侧第 一列， 因此宽度为( (W‑1)‑(L‑2))； 第二种情况是在原图右边缘(R≥W ‑2)， 这时候左边界扩充2列像素， 右边界扩充到右侧 最后一列， 因此宽度为( (R+2)‑0)。 7.根据权利要求6所述的基于局部特征图实时更新的联机手写中文文本行识别方法， 其特征在于： 在截取局部图像后， 对截取的局 部图像M进行填充padding， 具体方法为： 局 部 图像M上下两边各padding  1行像素来模拟原图卷积所需的padding； 若局部图像M在原图左 右两侧， 则根据不同情况进行pad ding， 以公式表述 为 公式中PL、 PR分别是左右两侧的padding情况； 如果局部图像不在原图左右两侧， 这时候 局部图像左右两侧已经扩充2列像素， 不需要进行padding操作， 即PL＝PR＝0； 如果局部图像 在原图左右两侧， 比如左侧(L＝0)， 这时候需要在左侧padding一列全0像素来模拟原图的 padding操作。 8.根据权利要求7所述的基于局部特征图实时更新的联机手写中文文本行识别方法， 其特征在于： 步骤S5中， 仅计算新输入笔画对应的局部图片的CNN特征， 将新特征替换到上 一次的特 征图上， 实现新笔画的局部特 征实时更新， 具体方法为： 将截取的局部 图像进行局部卷积操作， 迭代地卷积、 池化并更新每一个网络层的特征 图。 池化过程中不pad ding， 卷积过程要扩充的像素与pad ding的情况分别为： Wi表示第i层特征图的宽度； E(L， R)表示要扩充的像素， 当是( ‑2， +2)时， 即左右两侧扩 充2列， 则原特征图对应像素值到要 更新的局部特征图上， 继续下一层的迭代卷积与特征图 更新； 在扩充特征图像素时考虑是否能被池化层步长整除， 具体为： 池化层步长为2的时候， 若当前的L不能被步长2整除， 则应该向左扩充L％2列像素； 若扩展到步长为S的情况， 计当 前第L列， 则需要向左扩充L％S列像素； 同理， 对于局部特征右侧， 计 当前第R列， 则需要向右 扩充S‑L％S列像素。 9.根据权利要求1所述的基于局部特征图实时更新的联机手写中文文本行识别方法， 其特征在于： 步骤S6中， 使用CTC结合N ‑Gram语言模型解码更新识别结果， 实现联机手写中 文文本行实时识别。权　利　要　求　书 2/2 页 3 CN 115131648 A 3