全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211243038.2 (22)申请日 2022.10.11 (71)申请人 华润数字科技有限公司 地址 518000 广东省深圳市福田区梅林街 道梅都社区中康路136号深圳新一代 产业园2栋801 (72)发明人 陈焕坤 王伟 顾伟正 张黔  黄童玲 李依霓  (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 丁宇龙 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/289(2020.01) G06K 9/62(2022.01) (54)发明名称 中文文本纠错方法、 装置及计算机设备 (57)摘要 本申请涉及人工智能技术, 提供了中文文本 纠错方法、 装置及计算机设备, 方法包括响应于 文本纠错指令, 获取与文本纠错指令对应的待纠 错文本; 获取预先存储的训练集, 在训练集中获 取与待纠错文本之间的文本相似度满足预设相 似文本筛选条件的样本数据, 以组成目标样本数 据集; 基于目标样本数据集对待纠错文本进行更 新, 得到当前纠错文本; 将当前纠错文本输入至 预先训练的预测模型得到预测结果。 本申请实现 了采用序列到序列的建模 方式, 且在解码端采用 双解码器进行解码, 基于训练集充分挖掘预训练 模型在无监督语料上提取的语义信息, 提高小样 本条件下的纠错精度。 权利要求书2页 说明书12页 附图3页 CN 115496074 A 2022.12.20 CN 115496074 A 1.一种中文 文本纠错方法, 其特 征在于, 包括: 响应于文本纠错指令, 获取与所述文本纠错指令对应的待纠错文本; 获取预先存储的训练集, 在所述训练集中获取与 所述待纠错文本之间的文本相似度满 足预设相似文本 筛选条件的样本数据, 以组成目标样本数据集; 基于所述目标样本数据集对所述待纠错文本进行 更新, 得到当前纠错文本; 将所述当前纠 错文本输入至预先训练的预测模型得到预测结果; 其中, 所述预测模型 中包括用于正向纠错的第一Transformer模型及用于正向纠错的第二Transformer模型。 2.根据权利要求1所述的中文文本纠错方法, 其特征在于, 所述在所述训练集中获取与 所述待纠错文本之 间的文本相似度满足预设相似文本筛选条件的样本数据, 以组成目标样 本数据集, 包括: 获取所述待纠错文本对应的第一语义向量; 获取所述训练集中各样本数据的语义向量; 获取所述训练集中各样本数据的语义向量分别与所述第一语义向量之间的向量相似 度并进行降序排序, 得到语义向量相似度排序结果; 获取所述预设相似文本 筛选条件中包括的排序阈值; 获取所述语义向量相似度排序 结果中排序 结果未超出所述排序阈值的向量相似度, 作 为目标向量相似度; 获取各目标向量相似度对应的样本数据组成目标样本数据集。 3.根据权利要求1所述的中文文本纠错方法, 其特征在于, 所述基于所述目标样本数据 集对所述待纠错文本进行 更新, 得到当前纠错文本, 包括: 将所述目标样本数据集的其中一个样本数据拼接至所述待纠错文本的头部, 并将所述 目标样本数据集的剩余样本数据拼接 至所述待纠错文本的尾部, 得到所述当前纠错文本 。 4.根据权利要求1所述的中文文本纠错方法, 其特征在于, 所述将所述当前纠错文本输 入至预先训练的预测模型 得到预测结果, 包括: 获取所述当前纠错文本中的正向提取文本, 将所述正向提取文本输入至所述第一 Transformer模型, 得到第一预测结果; 获取所述当前纠错文本中的反向提取文本, 将所述反向提取文本输入至所述第二 Transformer模型, 得到第二预测结果; 根据所述第一预测结果及所述第二预测结果的匹配结果, 确定所述预测结果。 5.根据权利要求4所述的中文文本纠错方法, 其特征在于, 所述获取所述当前纠错文本 中的正向提取文本, 包括: 基于预设的正向提 示模板获取 所述当前纠错文本中的正向提取文本; 所述获取 所述当前纠错文本中的反向提取文本, 包括: 基于预设的反向提 示模板获取 所述当前纠错文本中的反向提取文本 。 6.根据权利要求4所述的中文文本纠错方法, 其特征在于, 所述根据所述第 一预测结果 及所述第二预测结果的匹配结果, 确定所述预测结果, 包括: 若确定所述第 一预测结果与 所述第二预测结果相同, 则以所述第 一预测结果或所述第 二预测结果中的任意 一个作为所述预测结果; 若确定所述第一预测结果中有字符的预测结果与所述第二预测结果中对应字符的预权 利 要 求 书 1/2 页 2 CN 115496074 A 2测结果不相同, 则以该字符在第一预测结果对应预测结果、 及该字符在第二预测结果对应 预测结果中平均置信度最大的预测结果作为该字符的最终预测结果。 7.根据权利要求5所述的中文文本纠错方法, 其特征在于, 所述根据所述第 一预测结果 及所述第二预测结果的匹配结果, 确定所述预测结果之后, 还 包括: 获取所述第一预测结果对应的第一损失值; 获取所述第二预测结果对应的第二损失值; 获取所述当前纠错文本 输入至所述预测模型中分类模型对应的分类损失值; 将所述第一损 失值及对应的第一超参数、 所述第二损 失值及对应的第二超参数、 所述 分类损失值及对应的第三超参数进行加权求和, 得到与所述预测结果对应的损失值。 8.一种中文 文本纠错装置, 其特 征在于, 包括: 待纠错文本获取单元, 用于响应于文本纠 错指令, 获取与所述文本纠 错指令对应的待 纠错文本; 目标样本获取单元, 用于获取预先存储的训练集, 在所述训练集中获取与所述待纠 错 文本之间的文本相似度满足预设相似文本 筛选条件的样本数据, 以组成目标样本数据集; 当前纠错文本获取单元, 用于基于所述目标样本数据集对所述待纠 错文本进行更新, 得到当前纠错文本; 文本纠正单元, 用于将所述当前纠 错文本输入至预先训练的预测模型得到预测结果; 其中, 所述预测模型中包括用于正 向纠错的第一Transformer模型及用于正 向纠错的第二 Transformer模型。 9.一种计算机设备, 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上 运行的计算机程序, 其特征在于, 所述处理器执行所述计算机程序时实现如权利要求1至7 中任一项所述的中文 文本纠错方法。 10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质存储有计算机程 序, 所述计算机程序当被处理器执行时使 所述处理器执行如权利要求 1至7任一项 所述的中 文文本纠错方法。权 利 要 求 书 2/2 页 3 CN 115496074 A 3

PDF文档 专利 中文文本纠错方法、装置及计算机设备

文档预览
中文文档 18 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 中文文本纠错方法、装置及计算机设备 第 1 页 专利 中文文本纠错方法、装置及计算机设备 第 2 页 专利 中文文本纠错方法、装置及计算机设备 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-03-03 12:13:39上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。