(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211000798.0 (22)申请日 2022.08.19 (71)申请人 广东工业大 学 地址 510060 广东省广州市越秀区东 风东 路729号大院 (72)发明人 赵韦人　李睿濠　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 刘晓娟 (51)Int.Cl. G06K 9/62(2022.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种文本相似度计算模 型训练方法、 计算方 法及相关装置 (57)摘要 本申请公开了一种文本相似度计算模型训 练方法、 计算方法及相关装置， 构建包括第一分 支网络、 第二分支网络和预测层的孪生网络； 通 过第一、 第二分支网络分别对第一训练文本、 第 二训练文本依次进行预处理、 语义特征提取和配 置权重， 得到第一、 第二高级语义特征向量； 通过 预测层计算两个高级语义特征向量之间的欧式 距离， 并基于欧式距离获取训练文本对之间的相 似度预测值； 根据训练文本对之间的相似度预测 值和实际相似度值更新孪生网络参数， 得到文本 相似度计算模 型， 改善了 现有技术没有提炼和比 对将两个文本的语义内容， 忽略了不同字词对于 语义表达有着不同程度的作用， 从而影 响对文本 语义的数字化表达， 导致相似度计算结果准确性 较低的技 术问题。 权利要求书2页 说明书10页 附图3页 CN 115221977 A 2022.10.21 CN 115221977 A 1.一种文本相似度计算模型训练方法， 其特 征在于， 包括： 构建孪生网络， 所述孪生网络包括第一分支网络、 第二分支网络和预测层； 通过所述第一分支网络对所述训练文本对中的第一训练文本依次进行预处理和语义 特征提取， 得到第一语义特征向量， 并基于注意力机制对所述第一语义特征向量中的词向 量配置权重， 获取第一高级语义特 征向量； 通过所述第二分支网络对所述训练文本对中的第二训练文本依次进行预处理和语义 特征提取， 得到第二语义特征向量， 并基于注意力机制对所述第二语义特征向量中的词向 量配置权重， 获取第二高级语义特 征向量； 通过所述预测层计算所述第一高级语义特征向量和所述第二高级语义特征向量之间 的欧式距离， 并基于所述欧式距离获取 所述训练文本对之间的相似度预测值； 根据所述训练文本对之间的相似度预测值和所述训练文本对之间的实 际相似度值计 算损失值， 并通过所述损失值更新所述孪生网络的网络参数， 直至所述孪生网络收敛， 得到 训练好的文本相似度计算模型。 2.根据权利要求1所述的文本相似度计算模型训练方法， 其特征在于， 所述通过所述第 一分支网络对所述训练文本对中的第一训练文本依次进行预处理和语义特征提取， 得到第 一语义特征向量， 并基于注意力机制对所述第一语义特征向量中的词向量配置权重， 获取 第一高级语义特 征向量， 之前还 包括： 对所述训练文本对中的第 一训练文本和第 二训练文本分别进行向量化处理， 在向量化 处理后的第一训练文本和向量化处理后的第二训练文本的句首添加 第一编码标记， 句尾添 加第二编码标记， 分别得到所述第一训练文本对应的第一初始向量和所述第二训练文本对 应的第二初始向量。 3.根据权利要求2所述的文本相似度计算模型训练方法， 其特征在于， 所述第 一分支网 络和所述第二分支网络共用相同的特征提取网络， 所述特征提取网络由串联的编码器模 型、 双向长短期记 忆网络和注意力机制网络构成； 所述编码器模型， 用于对输入的初始向量进行编码处 理， 得到文本向量； 所述双向长短期记忆网络， 用于对所述文本向量进行语义特征提取， 得到语义特征向 量； 所述注意力机制网络， 用于对所述语义特征向量进行计算得到总注意力分布， 根据所 述总注意力分布计算所述语义特征向量中每个词向量的权重， 并根据所述语义特征向量中 每个词向量的权 重对对应的词向量进行加权， 得到高级语义特 征向量。 4.根据权利要求1所述的文本相似度计算模型训练方法， 其特征在于， 所述通过所述预 测层计算所述第一高级语义特征向量和所述第二高级语义特征向量之 间的欧式距离， 并基 于所述欧式距离获取 所述训练文本对之间的相似度预测值， 包括： 通过所述预测层计算所述第一高级语义特征向量和所述第二高级语义特征向量之间 的欧式距离， 并通过激活函数对所述欧式距离进行计算， 得到所述训练文本对之间的相似 度预测值。 5.一种文本相似度计算方法， 其特 征在于， 包括： 获取待比对文本对； 将所述待比对文本对输入到文本相似度计算模型中进行相似度计算， 得到所述待比对权　利　要　求　书 1/2 页 2 CN 115221977 A 2文本对之间的相似度值， 其中， 所述文本相似度计算模型通过权利要求 1‑4任一项所述的文 本相似度计算模型训练方法训练得到 。 6.一种文本相似度计算模型训练装置， 其特 征在于， 包括： 构建单元， 用于构建孪生网络， 所述孪生网络包括第 一分支网络、 第 二分支网络和预测 层； 第一特征提取单元， 用于通过所述第 一分支网络对所述训练文本对中的第 一训练文本 依次进行预处理和语义特征提取， 得到第一语义特征向量， 并基于注意力机制对所述第一 语义特征向量中的词向量配置 权重， 获取第一高级语义特 征向量； 第二特征提取单元， 用于通过所述第 二分支网络对所述训练文本对中的第 二训练文本 依次进行预处理和语义特征提取， 得到第二语义特征向量， 并基于注意力机制对所述第二 语义特征向量中的词向量配置 权重， 获取第二高级语义特 征向量； 预测单元， 用于通过所述预测层计算所述第 一高级语义特征向量和所述第 二高级语义 特征向量之间的欧式距离， 并基于所述欧式距离获取所述训练文本对之间的相似度预测 值； 参数更新单元， 用于根据所述训练文本对之间的相似度 预测值和所述训练文本对之间 的实际相似度值计算损失值， 并通过所述损失值更新所述孪生网络的网络参数， 直至所述 孪生网络收敛， 得到训练好的文本相似度计算模型。 7.根据权利要求6所述的文本相似度计算模型训练装置， 其特 征在于， 还 包括： 向量化处理单元， 用于对所述训练文本对中的第 一训练文本和第 二训练文本分别进行 向量化处理， 在向量化处理后的第一训练文本和向量化处理后的第二训练文本的句首添加 第一编码标记， 句尾添加第二编码标记， 分别得到所述第一训练文本对应的第一初始向量 和所述第二训练文本对应的第二初始向量。 8.一种文本相似度计算装置， 其特 征在于， 包括： 获取单元， 用于获取待比对文本对； 计算单元， 用于将所述待比对文本对输入到文本相似度计算模型中进行相似度计算， 得到所述待比对文本对之 间的相似度值， 其中， 所述文本相似度计算模 型通过权利要求 1‑4 任一项所述的文本相似度计算模型训练方法训练得到 。 9.一种电子设备， 其特 征在于， 所述设备包括处 理器以及存 储器； 所述存储器用于存 储程序代码， 并将所述 程序代码传输给 所述处理器； 所述处理器用于根据 所述程序代码中的指令执行权利要求1 ‑4任一项所述的文本相似 度计算模型训练方法或权利要求5所述的文本相似度计算方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于存储程序代 码， 所述程序代码被处理器执行时实现权利要求1 ‑4任一项所述的文本相似度计算模型训 练方法或权利要求5所述的文本相似度计算方法。权　利　要　求　书 2/2 页 3 CN 115221977 A 3