(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210003234.6 (22)申请日 2022.01.05 (65)同一申请的已公布的文献号 申请公布号 CN 114021573 A (43)申请公布日 2022.02.08 (73)专利权人 苏州浪潮智能科技有限公司 地址 215100 江苏省苏州市吴中区吴中经 济开发区郭巷街道官浦路1号9幢 (72)发明人 郭振华　王立　赵雅倩　李仁刚　 范宝余　邓祥一　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 姚莹丽 (51)Int.Cl. G06F 40/295(2020.01)G06F 16/36(2019.01) 审查员 曾鹏飞 (54)发明名称 一种自然语言处理方法、 装置、 设备及可读 存储介质 (57)摘要 本申请公开了一种自然语言处理方法、 装 置、 设备及可读存储介质。 本申请能够为目标语 句中的各第一实体添加扩充信息， 且 所添加的扩 充信息基于相应第一实体的最大关联第二实体 生成， 因此所添加的扩充信息与目标语句中的各 第一实体的关联度较高， 从而可为作为BERT模型 输入数据的目标语句扩充有效信息， 使BERT模型 提升自然语言处理任务的处理精度， 能够提高 BERT模型的处理效率和处理效果。 相应地， 本申 请提供的一种自然语言处理装置、 设备及可读存 储介质， 也同样具有上述 技术效果。 权利要求书3页 说明书14页 附图3页 CN 114021573 B 2022.04.22 CN 114021573 B 1.一种自然语言处 理方法， 其特 征在于， 包括： 获取待处 理的目标语句， 并确定所述目标语句中的各第一实体； 针对每个第一实体， 若该第一实体存在于预设实体集中， 则在所述预设实体集中确定 与该第一实体具有最大关联的第二实体， 并基于所确定的第二实体生成扩充信息， 将所述 扩充信息添加至该第一实体在所述 目标语句中所处位置之后， 得到更新后的目标语句； 所 述第二实体为所述预设实体集中除该第一实体外的任一实体； 将所述更新后的目标语句输入BERT模型， 以使所述BERT模型 执行自然语言处 理任务； 其中， 所述在所述预设实体集中确定与该第一实体具有最大关联的第二实体， 包括： 将该第一实体作为目标对象， 并确定所述目标对象与每个第二实体的最大关系概率 值， 得到N ‑1个最大关系 概率值； N ‑1为第二实体的个数， N为所述预设实体集包括的实体总 数； 一个第一 实体与一个第二 实体之间的关系用M维关系向量表示， M维关系向量中有M个关 系概率值， 将其中的最大值确定为该第一 实体与该第二 实体之间的最大关系概率值； M维关 系向量由关系识别模型识别两个实体间的关系得到； 确定每个第二实体与所述目标语句的相关性， 得到N ‑1个相关性； 针对每个第 二实体， 计算该第 二实体对应的相关性和该第 二实体对应的最大关系概率 值的乘积， 得到该第二实体对应的关联 得分， 得到N ‑1个关联得分； 将所述N‑1个关联得分中的最大关联得分对应的第二实体， 作为与所述目标对象具有 最大关联的第二实体； 其中， 所述确定每 个第二实体与所述目标语句的相关性， 包括： 针对每个第 二实体， 将所述目标语句中的每个第 一实体与该第 二实体的相关程度之和 的归一化结果， 确定为该第二实体与所述 目标语句的相关性； 任一个第一实体与任一个第 二实体的相关程度为： 该第一实体与该第二 实体的最大关系概率值加上该第二实体与该第 一实体的最大关系概 率。 2.根据权利要求1所述的方法， 其特征在于， 所述确定所述目标对象与每个第 二实体的 最大关系概 率值， 包括： 生成用于表示所述预设实体集中各个实体间关系及关系概率值的N ×N×M维张量； M为 所述预设实体集中不同实体间的关系向量的维数； 基于所述N ×N×M维张量生成知识图谱， 并在所述知识图谱中查询所述目标对象与每 个第二实体的最大关系概 率值。 3.根据权利要求2所述的方法， 其特征在于， 所述生成用于表示所述预设实体集中各个 实体间关系及关系概 率值的N×N×M维张量， 包括： 生成由N×N×M维全0构成的初始张量； 获取用于生成所述预设实体集的语句库， 并遍历所述语句库中的每个句子， 将遍历到 的句子作为待识别句子； 将所述待识别句子中相邻的两个实体作为实体组， 得到多个实体组； 利用关系识别模型识别每 个实体组中的两个实体间的关系， 得到多个M维关系向量； 针对每个M维关系向量， 若任一M维关系向量中的最大数值大于预设阈值， 则将所述最 大数值在所述初始张量中对应位置的元 素由0更新 为1， 以更新所述初始张量； 遍历所述语句库中的下一个句子， 并继续更新当前张量， 直至所述语句库中的每个句权　利　要　求　书 1/3 页 2 CN 114021573 B 2子均已被遍历， 则输出并优化当前 得到的张量， 以得到所述 N×N×M维张量。 4.根据权利要求3所述的方法， 其特征在于， 所述利用关系识别模型识别每个实体组中 的两个实体间的关系， 得到多个M维关系向量， 包括： 针对任一实体组中的两个实体， 将所述待识别句子 中的这两个实体用不同标识符进行 替换， 将替换得到的新句 子输入所述关系识别模型， 以使所述关系识别模型输出这两个实 体对应的M维关系向量。 5.根据权利要求3所述的方法， 其特征在于， 所述优化当前得到的张量， 以得到所述N × N×M维张量， 包括： 将当前得到的张量作为初始三维矩阵， 并将所述初始三维矩阵分解为M个N ×N维的矩 阵Xi； i=1,2,……,M； 将初始化得到的d ×d×M维张量O 分解为M个d×d维的矩阵Oi； d为可调超参数； 初始化得到N ×d维的矩阵A， 并基于Xi=AOiAT和梯度下降法求 解最优A’和M个最优Oi’； 基于最优A ’和M个最优Oi’得到新三维矩阵； 基于max函数逐位对比所述初始三维矩阵和新三维矩阵， 并保留各位置的最大值， 得到 所述N×N×M维张量。 6.根据权利要求1至5任一项所述的方法， 其特征在于， 所述确定所述目标语句中的各 第一实体， 包括： 将所述目标语句中的每 个字转换为1024维向量， 得到向量 集合； 将所述向量集合输入实体识别模型， 以使所述实体识别模型识别所述目标语句中的各 第一实体。 7.一种自然语言处 理装置， 其特 征在于， 包括： 获取模块， 用于获取待处 理的目标语句， 并确定所述目标语句中的各第一实体； 扩充模块， 用于针对每个第 一实体， 若该第一实体存在于预设实体集中， 则在所述预设 实体集中确定与该第一实体具有最大关联的第二 实体， 并基于所确定的第二 实体生成扩充 信息， 将所述扩充信息添加至该第一实体在所述 目标语句中所处位置之后， 得到更新后的 目标语句； 所述第二实体为所述预设实体集中除该第一实体外的任一实体； 处理模块， 用于将所述更新后的目标语句输入BERT模型， 以使所述BERT模型执行自然 语言处理任务； 其中， 扩充模块包括： 第一确定单元， 用于将该第一实体作为目标对象， 并确定所述目标对象与每个第二实 体的最大关系 概率值， 得到N ‑1个最大关系 概率值； N ‑1为第二实体的个数， N为所述预设实 体集包括的实体总数； 一个第一实体与一个第二实体之间的关系用M维关系向量表示， M维 关系向量中有M个关系概率值， 将其中的最大值确定为该第一实体与该第二实体之间的最 大关系概 率值； M维关系向量由关系识别模型识别两个实体间的关系得到； 第二确定单 元， 用于确定每 个第二实体与所述目标语句的相关性， 得到N ‑1个相关性； 计算单元， 用于针对每个第二实体， 计算该第二实体对应的相关性和该第二实体对应 的最大关系概 率值的乘积， 得到该第二实体对应的关联 得分， 得到N ‑1个关联得分； 选择单元， 用于将所述N ‑1个关联得分中的最大关联得分对应的第 二实体， 作为与所述 目标对象具有最大关联的第二实体；权　利　要　求　书 2/3 页 3 CN 114021573 B 3