(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210996504.8 (22)申请日 2022.08.19 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 鹿文鹏　张鑫　赵鹏宇　郑超群　 张维玉　马凤英　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 孙园园 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 40/289(2020.01) G06F 40/30(2020.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 面向医疗智能问答的文本语义匹配方法和 装置 (57)摘要 本发明公开了一种面向医疗智能问答的文 本语义匹配方法和装置， 属于自然语 言处理技术 领域。 本发 明要解决的技术问题 为如何捕获同一 文本细粒度语义特征、 文本间语义交互特征， 以 实现文本的语义匹配， 采用的技术方案为： 通过 构建并训练嵌入层、 语义编码层、 多层次细粒度 特征提取层、 特征融合层和预测层组成文本语义 匹配模型， 提取文本字、 词粒度特征， 捕获同一文 本细粒度语义特征、 文本间语义交互特征， 最终 将多种相关特征合并， 之后进行多种匹配操作， 生成最终匹配特征向量并判定文本的相似度。 该 装置包括文本匹配知识库构建单元、 训练数据集 生成单元、 文本匹配模型构建单元及文本语义匹 配模型训练单 元。 权利要求书10页 说明书24页 附图6页 CN 115269808 A 2022.11.01 CN 115269808 A 1.一种面向医疗智能问答的文本语义匹配方法， 其特征在于， 该方法是通过构建并训 练嵌入层、 语义编码层、 多层次细粒度特征提取层、 特征融合层和预测层组成文本语义匹配 模型， 提取文本字、 词粒度特征， 捕获同一文本细粒度语义特征、 文本间语义交互特征， 最 终 将多种相关特征合并， 之后进行多种匹配操作， 生成最终匹配特征向量并判定文本的相似 度； 具体如下： 嵌入层对输入的文本以字粒度和词粒度分别进行嵌入操作， 输出文本字嵌入表示和词 嵌入表示； 语义编码层接收文本字嵌入表示和词嵌入表示并使用双向长短期记忆网络BiLSTM进 行编码， 输出文本 字、 词粒度特 征； 多层次细粒度特征提取层对语义编码层输出的文本字、 词粒度特征进行同一文本、 文 本间编码 操作， 得到同一文本细粒度语义特 征与文本间语义交 互特征； 特征融合层对多种相关特征进行合并， 之后进行多种匹配操作， 生成最终匹配特征向 量； 预测层将最终匹配特征向量输入多层感知机得到一个浮点型的数值， 将其作为匹配度 与预设的阈值进行比较， 根据比较结果， 判定文本的语义是否匹配。 2.根据权利要求1所述的面向医疗智能问答的文本语义匹配方法， 其特征在于， 所述嵌 入层包括字词映射 转换表、 输入层、 字词向量映射层， 输出文本 字嵌入表示和词嵌入表示； 其中， 字词映射转换表： 映射规则为以数字1为起始， 随后按照每个字或词被录入字词 表的顺序 依次递增排序， 从而 形成字词映射转换表； 其后， 再使用Word2Vec训练字词向量模 型， 得到各字词的字词向量矩阵； 输入层： 输入层包括 四个输入， 对于训练数据集中的每一个文本或待预测的文本， 进行 断字和分词预处理， 分别获取txt  P_char、 txt  Q_char、 txt  P_word和txt  Q_word， 其中后 缀char、 word分别表 示对相应文本进行断字或分词处理得到， 将其形式化为： (txt  P_char, txt Q_char,txt P_word,txt  Q_word)； 对于输入文本 中的每个字和词都按照字词映射转 换表转化为相应的数字标识； 字词向量映射层： 加载构建字词映射转换表步骤中训练所得的字词向量矩阵来初始化 当前层的权重参数； 针对输入的文本txt  P_char、 txt  Q_char、 txt  P_word和txt  Q_word得 到其相应的文本字嵌入表示和词嵌入表示txt  P_char_embed、 txt Q_char_embe d、 txt P_ word_embed和txt  Q_word_embed。 3.根据权利要求2所述的面向医疗智能问答的文本语义匹配方法， 其特征在于， 所述语 义编码层的实现细节如下： 以文本P为例， 该模块接收文本P字、 词嵌入表示并使用双向长短期记忆网络BiLSTM进 行编码得到文本P字、 词粒度特征， 记为 具体公式 如下： 其中， N表示字粒度特征与词粒度特征的长度， 公式(1)表示使用双向长短期记忆网络权　利　要　求　书 1/10 页 2 CN 115269808 A 2BiLSTM对文本P字嵌入表示进行编码， 其中， 表示通过双向长短期记忆网络BiLSTM编码得 到的文本P第i个位置字粒度特征， 表示通过前向长短期记忆网络LSTM编码得到的文本P 第i个位置 字粒度特 征， 表示通过后向LSTM编码得到的文本P第i个位置 字粒度特 征； 公式 (2)与公式(1)中符号含义基本一致， 表示通过双向长短期记忆网络BiLSTM编码得到 的 文本P第j个位置词粒度特征， 表示通过前向LSTM编码得到的文本P第j个位置词粒度特 征， 表示通过后向LSTM编码得到的文本P第j个位置词粒度特 征。 同理， 对文本Q进行与文本P类似操作， 得到文本Q字、 词粒度特 征， 记为Qc、 Qw。 4.根据权利要求3所述的面向医疗智能问答的文本语义匹配方法， 其特征在于， 所述多 层次细粒度特 征提取层的实现细节如下： 对语义编码层输出的文本字、 词粒度特征， 进行同一文本、 文本间编码操作， 得到同一 文本细粒度语义特征与文本间语义交互特征； 包括两个子模块， 第一个子模块负责 同一文 本细粒度语义特征提取， 主要对同一文本不同粒度使用多个注意力模块编 码获取同一文本 细粒度语义特征； 第二个子模块负责文本间语义交互特征提取， 主要是在文本间使用若干 层的编码结构获取文本之间语义交 互特征； 第一个子模块同一文本细粒度语义特 征提取： 首先为方便后续说明， 在第一部分中以文本P为例， 定义如下注意力模块： 定义软对齐注意力模块， 记为SOA， 公式如下： 其中 表示文本P第i个 位置字粒度特征， 来自公式(1)， 表示文本P第j个位置词粒度 特征， 来自公式(2)， 表示文本P第i个位置字粒度特征与第j个位置词 粒度特征之间的 软对齐注意力权重， 表示对软对齐注意力权重做softmax操作映射为0 ‑1的数 值， 表示使用软对齐注意力 使文本P第i个位置字粒度特征可由文本P所有词粒度特征加 权求和进行重新表示， 表示使用软对齐注意力 使文本P第j个位置词粒度特征可由文本P 所有字粒度特 征加权求和进行重新表示； 定义乘法对齐注意力模块， 记为MUA， 公式如下：权　利　要　求　书 2/10 页 3 CN 115269808 A 3