(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211204978.0 (22)申请日 2022.09.30 (71)申请人 中邮消费金融有限公司 地址 510000 广东省广州市南沙区海 滨路 171号南沙金融大厦1 1楼1101之一J3 0 (72)发明人 朱威　陈盛福　潘伟　韩柳　钟佳　 (74)专利代理 机构 广州微斗专利代理有限公司 44390 专利代理师 张鹤 (51)Int.Cl. G06F 16/332(2019.01) G06N 3/08(2006.01) G06F 16/33(2019.01) G06Q 40/02(2012.01) (54)发明名称 一种用于小额贷款智能客服的语义匹配方 法及系统 (57)摘要 本发明提供一种用于小额贷款智能客服语 义匹配的方法； 包括S1： 进入模型预训练阶段， 对 预设文档进行遮掩处理， 将遮掩后的预设文档与 没遮掩的预设文档输入BERT模型进行训练， 得到 训练后的匹配模 型； 本发明提供的用于小额贷款 智能客服语义匹配的方法增强了BERT模型对小 额贷咨询业务领域关键信息的建模能力， 提升模 型在语义匹配任务中的效果， 相对于其他语义匹 配技术， BERT模型可以学习到语义层的信息， 支 持数据并行处理， 提高了语义匹配准确率， 进一 步的优化了模型， 也降低了训练时间和成本 。 权利要求书4页 说明书10页 附图1页 CN 115292470 A 2022.11.04 CN 115292470 A 1.一种用于小额贷款智能客 服的语义匹配方法， 其特 征在于， 包括以下步骤： S1： 进入模型预训练 阶段， 对预设文档进行遮掩处理， 将遮掩后的预设文档与没遮掩的 预设文档输入BERT模型进行训练， 得到训练后的匹配模型； S2： 进入模型调整阶段， 获取网络上关于小额贷咨询业务的问题， 对获取的问题进行加 工处理并且匹配标注， 形成调整语料， 使用调整语料对训练后的匹配模型进行调整训练， 得 到调整后的匹配模型； S3： 进入模型应用阶段， 接收用户的提问， 将用户所提问题与预设 问题库中的多个标准 问题构成问题对， 输入到调整后的匹配模型中计算相似度， 得到相似度最高的问题对， 根据 相似度最高的问题对中的标准问题向用户反馈问题答案 。 2.根据权利要求1所述的用于小额贷款智能客服的语义匹配方法， 其特征在于， 步骤S1 进一步包括如下子步骤： S11： 运用随机掩码方法对预设文档进行遮 掩处理； S12： 将随机掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT模型训练， 得到 BERT’模型； S13： 运用专业用语全词掩码方法对预设文档进行遮 掩处理； S14： 将专业用语全词掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT ’模型 训练， 得到训练后的匹配模型； 在步骤S11中， 所述随机掩码方法用于对给定长度为T的句子序列x=[x1, …,xT]， 随机 选择其中第一预设比例的token， 将选中token中的第二预设比例token替换成 “[MASK]”， 第 三预设比例 token替换成一个随机的token， 第四预设比例 token保留原来的token， 被遮掩 后的句子为x ’， 第二预设比例、 第三预设比例、 第四预设比例之和为10 0%； 在步骤S12中， 将x ’输入到BERT模型中； 经过多层Transformer编码后得到隐向量序列h (x’)=[h1,...hT]， 并运用公式 （1） 所示的交叉熵损失函数计算掩码训练的损 失值以更新 BERT模型的参数， 得到BERT ’模型； 在步骤S13中， 所述专业用语全词掩码方法首先运用关键词匹配法， 对于输入长度为T 的句子序列x=[ x1,…,xT]， 找到 领域专业词汇序列xi:j； 用j ‑i+1个“[MASK]”替换xi:j得到 遮掩后的句子x ′； 在步骤S14中， 将步骤13中的x作为lable， 与x ′一起输入到BERT ’模型中， 经过多层 Transformer编码后得到最后一层的隐向量序列为h(x ’)=[h1,...hT]， 并对h(x ’)中的h (x’)i:j运用公式 （1） 所示的交叉熵损失函数， 计算掩码训练的损失值以更新BERT ’模型的 参数， 得到训练后的匹配模型； 公式 （1） 为 所述x’为遮掩后语料， xt为被遮掩token， t为被遮掩token下标， 对于专业用语全词掩码 方法t为i:j， e(xt)为token  xt的词嵌入， V为模型的词表， h(x ’)t为隐向量序列h(x ’)的子序 列。权　利　要　求　书 1/4 页 2 CN 115292470 A 23.根据权利要求1所述的用于小额贷款智能客服的语义匹配方法， 其特征在于， 步骤S2 进一步包括如下子步骤： S21： 使用网络 爬虫技术从网络上获取关于小额贷咨询业 务的问题； S22： 对获取的问题进行 人工清洗， 将问题中与特定产品相关的词汇替换为 通用词汇； S23： 对清洗后的问题进行筛选与人工匹配标注， 先将问题随机两两配对， 而后判断问 题对的语义是否一 致， 若一致则标注为相似标签， 反 之标注为 不相似标签； S24： 将标注好的问题作为调整语料， 将所述调整语料输入至训练后的匹配模型中进行 调整训练， 得到调整后的匹配模型。 4.根据权利要求1所述的用于小额贷款智能客服的语义匹配方法， 其特征在于， 步骤S3 进一步包括如下子步骤： S31： 接收用户的提问； S32: 将用户提问与问题库中的多个标准问题组成多个问题对； S33： 将S32步骤获得的全部问题对输入至调整后的匹配模型中， 得到每个问题对 的标 签以及预测该标签的概率， 标签包括语义不相似标签和语义相似标签， 概率为调整后的匹 配模型判断 问题对中两个问题相似或者 不相似的可信度； S34： 根据调整后的匹配模型输出的全部问题对的标签及标签的概率， 对标签为语义相 似标签的问题对的概率进 行排序， 选择标签为语义相似标签且概率最高的问题对为目标问 题对； S35： 选择与目标问题对中的标准问题相对应的答案， 向用户反馈所述 答案。 5.根据权利要求2所述的用于小额贷款智能客服的语义匹配方法， 其特征在于， 在步骤 S11中， 所述预设文档包括小额贷款产品手册与活动说明文档， 在步骤S13中， 关键词包括小 额贷款产品名称、 小额贷款专业用语。 6.一种用于小额贷款智能客 服的语义匹配系统， 其特 征在于， 包括： 模型预训练模块， 用于对预设文档进行遮掩处理， 将遮掩后的预设文档与没遮掩的预 设文档输入BERT模型进行训练， 得到训练后的匹配模型； 模型调整模块， 用于获取网络上关于小额贷咨询业务的问题， 对获取的问题进行加工 处理并且匹配标注， 形成调整语料， 使用调整语料对训练后的匹配模 型进行调整训练， 得到 调整后的匹配模型； 模型应用模块， 用于接收用户的提问， 将用户所提问题与预设问题库中的多个标准问 题构成问题对， 输入到调整后的匹配模 型中计算相似度， 得到相似度最高的问题对， 根据相 似度最高的问题对中的标准问题向用户反馈问题答案 。 7.根据权利要求6所述的用于小额贷款智能客服的语义匹配系统， 其特征在于， 所述模 型预训练模块采用如下 方法进行BERT模型 预训练： S11： 运用随机掩码方法对预设文档进行遮 掩处理； S12： 将随机掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT模型训练， 得到 BERT’模型； S13： 运用专业用语全词掩码方法对预设文档进行遮 掩处理； S14： 将专业用语全词掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT ’模型 训练， 得到训练后的匹配模型；权　利　要　求　书 2/4 页 3 CN 115292470 A 3