(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210275679.X (22)申请日 2022.03.21 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 马小林　周至春　旷海兰　刘新华　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 龚雅静 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01) G06F 16/33(2019.01) G06F 40/126(2020.01) G06F 40/194(2020.01)G06F 40/205(2020.01) G06F 40/295(2020.01) G06N 3/04(2006.01) (54)发明名称 一种基于语义解析与向量建模结合的问答 方法 (57)摘要 本发明公开了一种基于语义解析与向量建 模结合的问答方法， 包括完成问句的命名实体识 别， 完成槽位填充， 完成问句的意图识别， 确认识 别的意图， 根据问句的实体与意图， 通过知识图 谱查询语言完成答案查询， 识别的意图不在预先 设计的意图范围内， 则需要根据步骤2识别的实 体， 查询该实体关联的多个三元组， 完成该实体 的子图召回， 分别对问句与子图的路径进行编码 和排序， 对排序后的分数进行比较， 返回最高分 数的路径作为答案， 完成答案查询， 通过对输入 的问句理解， 并且结合知识图谱进行召回排序， 返回高精确率的答案， 可 以用准确、 简洁的自然 语言回答用户用自然语言提出的问句。 权利要求书3页 说明书9页 附图3页 CN 114896407 A 2022.08.12 CN 114896407 A 1.一种基于语义 解析与向量建模结合的问答方法， 其特 征在于， 包括： 步骤1、 对用户输入的问句进行预处理， 获取高质量的词向量， 并获得最优预测序列， 完 成问句的命名实体识别， 获取实体； 步骤2、 如果步骤1识别到的实体不是标准的称谓， 则该实体链指到知识图谱中唯一的 实体， 重新获取实体， 如果 步骤1识别到的实体是 标准的称谓， 则使用该实体； 步骤3、 将步骤2获取到的唯一的实体作为槽位， 如果在该轮问句的槽位识别为空， 则需 要加载用户对话的上 下文， 继承上一轮对话保存的槽位， 完成槽位 填充； 步骤4、 完成问句的意图识别； 步骤5、 如果意图识别不明确， 则使用预先设计好的语义槽模板， 回复澄清话术对意图 做一个确认， 意图正确则跳转 步骤6， 意图不 正确则跳转 步骤7； 步骤6、 根据问句的实体与意图， 通过知识图谱查询语言完成答案查询； 步骤7、 识别的意图不在预先设计的意图范围内， 则需要根据步骤2识别的实体， 查询该 实体关联的多个三元组， 完成该实体的子图召回； 步骤8、 分别 对问句与步骤7的子图的路径进行编码和排序， 对排序后的分数进行比较， 返回最高分数的路径作为 答案， 完成答案查询。 2.根据权利要求1所述的基于语义解析与向量建模结合的问答方法， 其特征在于， 所述 步骤1包括： 建立BERT ‑BiLSTM‑CRF模型， 用BERT模块对问句做预处理， 将问句输入到BERT模 型中， 经过双向Transformer结构， 得到词向量， BiLSTM模块通过双向LSTM计算输入隐藏信 息， 利用CRF模块， 对Bi LSTM模块输出进行解码， 求 解最优路径， 获取最优预测序列。 3.根据权利要求2所述的基于语义解析与向量建模结合的问答方法， 其特征在于， BERT‑BiLSTM‑CRF模型完成问句的命名实体识别的步骤具体包括： 步骤101、 在BERT模块中输入问句， 通过BERT模块获取多个词向量， 词向量分别表示为 w1、 w2、 w3， ...， wn， 每个词向量具有对应的标签； 步骤102、 在BiLSTM模块中， 输入每个词向量的embedding， 再使用双向的LSTM模型， 提 取每个词向量在其上 下文的语义表达向量； 步骤103、 使用softmax来对词向量的语义向量进行解码； 步骤104、 通过CRF模块对BiLSTM模块输出结果进行解码， 标注序列L和问句W， 问句W由 用户给定， 标注序列L是在给定问句W的输出， 其中， CRF模块中， 给定问句W， 问句W中包括n个 词向量， 根据特征函数集来对标注序列进 行评分， 获取转移分数， 根据标注序列的概率值的 最大值获取最优预测序列， 令W＝(w1， w2， w2， ...wn)， L＝(l1， l2， l3， ...ln)， 转移分数的计算 公式如下： 其中， score(L/W)为转移分数， fk表示特征函数， 给每一个特征函数赋予一个权重λk， n 表示标注序列的长度， K表示特征函数的个数， k表示特征函数的下标， i表示标注序列或问 句中词向量的下 标； 标注序列的概 率值的具体 计算公式如下：权　利　要　求　书 1/3 页 2 CN 114896407 A 2其中， p(L/W)为标注序列的概 率值， W为问句， L 为标注序列， score(L/W)为 转移分数。 4.根据权利要求1所述的基于语义解析与向量建模结合的问答方法， 其特征在于， 所述 步骤2包括： 对步骤1识别出来的实体的属性链接到知识图谱中相关实体的属 性， 通过双向 LSTM算法模型， 可以得到问句以及对应的候选关系或属性的向量表示， 通过获取语义相似 度， 确定问句链接到知识图谱的实体， 令问句中抽取的实体候选词是W， 知识图谱中实体是 Z， Z＝(z1， z2， z3， ...zn)， N表示实体W与 实体Z对应的N维向量， 则语义相 似度具体计算公式 如下： 其中， cos(W， Z)为语义相似度， j表示 N维向量中的第j个词。 5.根据权利要求1所述的基于语义解析与向量建模结合的问答方法， 其特征在于， 所述 步骤4包括： 使用BERT ‑TextCNN模型识别问句意图， 将原始输入进行token 嵌入， 段嵌入和位 置嵌入的表 示后， 输入至BERT模块并生 成词向量矩阵， 进而通过TextCNN模块的卷积层 进行 卷积运算生成特征图， 再通过TextCNN的池化层进行最大池化运算， 在最终全连接层中， 使 用softmax激活函数输出意图分类结果， 结果在0 ‑1之间， 取最大值 为最终的意图； 由TextCN N的卷积层进行 卷积运算生成特征图， 得到特 征公式为： 其中， c表示特征提取向量， p表示问句中的第p个词， w为卷积核， d为卷积核的宽度， h为 卷积核的高度， 全连接层的输出 结果为： y＝softmax(wdense·(z or)+bdense) 其中， y为分类结果， wdense和bdense分别为全连接层的参数和偏置量。 6.根据权利要求1所述的基于语义解析与向量建模结合的问答方法， 其特征在于： 步骤 4获取的最终结果值可能比较小， 在做 回复处理时， 对最终的结果做一个比较， 如果结果在 0.4到0.8之间， 则表 示意图不明确， 需要做 澄清处理， 跳转步骤6； 如果结果小于0.4， 说明识 别出来的结果太低， 为保证准确率， 跳转 步骤7。 7.根据权利要求6所述的基于语义解析与向量建模结合的问答方法， 其特征在于： 根据 步骤4的最终结果值， 如果最终结果在0.8以上， 说明已经完成语义理解， 并且准确率较高， 可以使用知识图谱查询语言Cypher， 直接返回答案 。 8.根据权利要求1所述的基于语义解析与向量建模结合的问答方法， 其特征在于： 将用 户输入的问句由高维度降至低 维度， 将问句与答案都映射到低 维空间中， 得到其分布式表 达， 利用数据集来对分布式表达进 行训练， 根据曼哈顿距离计算问句与答案之间的相似性， 使得问句与答案之 间的相似度尽可能高， 最后根据候选答案组中向量表示与用户输入问句 表达得到分数最高的返回最终答案； 问句为W， W＝(w1， w2， ...wn)， 答案为B， B＝(b1， b2， ...bn)， 根据曼哈顿距离计算问句与权　利　要　求　书 2/3 页 3 CN 114896407 A 3