(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111678653.1 (22)申请日 2021.12.31 (71)申请人 马上消费金融股份有限公司 地址 401120 重庆市渝北区黄山大道中段 52号渝兴广场B2栋4至8楼 (72)发明人 耿福明　吴海英　蒋宁　王洪斌　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 付先智 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/35(2019.01) G06K 9/62(2022.01) (54)发明名称 用户问题的标注方法及装置 (57)摘要 本申请实施例提供了一种用户问题的标注 方法及装置， 通过获取人工客服系统产生的对话 数据， 确定目标提问问题对应的目标快捷应答语 句， 再结合预设的快捷应答语句与用户意图标签 之间的对应关系， 确定目标快捷应答语句对应的 目标意图标签， 即可得到目标提问问题与目标意 图标签之间的对应 关系， 从而实现对用户问题进 行用户意图标注， 进而将生 成的用户意图识别样 本集应用于智能客服系统中的用户意图识别模 型， 不仅能够提高用户问题的标注效率， 从而为 智能客服系统提供大量的用户意图识别样本， 还 能够提高用户意图识别样本集中包含的智能客 服系统无法识别的用户问题的覆盖率， 从而提高 用户意图识别模 型的识别准确度， 进而确保智能 客服系统的服 务质量。 权利要求书3页 说明书21页 附图7页 CN 114490975 A 2022.05.13 CN 114490975 A 1.一种用户问题的标注方法， 其特 征在于， 所述方法包括： 获取向人工客服系统提交 的目标提问问题， 以及获取所述目标提问问题对应的目标快 捷应答语句； 其中， 所述目标快捷应答语句包括： 预设的快捷语句集合中的至少一个快捷应 答语句， 所述快捷应答语句为在所述人工客服系统中预先设置的用于快捷回复用户问题的 应答语句； 基于预设的第 一对应关系， 确定所述目标快捷应答语句对应的目标意图标签； 其中， 所 述第一对应关系包括在所述人工客服系统中预存的所述目标快捷应答语句与所述目标意 图标签之间的对应关系； 基于所述目标意图标签， 对所述目标提问问题进行标注， 生成用户意图识别样本集； 其 中， 所述用户意图识别样本集用于对智能客 服系统所使用的用户意图识别模型进行训练。 2.根据权利要求1所述的方法， 其特征在于， 所述获取向人工客服系统提交 的目标提问 问题， 以及获取 所述目标提问 问题对应的目标 快捷应答语句， 包括： 获取人工客服系统在预设时间段内所产生的对话数据集 合； 从所述对话数据集合中， 提取多个目标提问问题和所述目标提问问题对应的目标快捷 应答语句； 在基于所述目标意图标签， 对所述目标提问问题进行标注， 生成用户意图识别样本集 之后， 还包括： 将所述用户意图识别样本集传输至智能客服系统， 以使所述智能客服系统将所述用户 意图识别样本集存储至第一数据库中； 其中， 所述第一数据库为用于存储所述用户意图识 别模型的训练样本集的数据库。 3.根据权利要求2所述的方法， 其特征在于， 所述获取人工客服系统在预设时间段内所 产生的对话数据集 合， 包括： 将向人工客服系统提交 的用户提问问题存储至所述人工客服系统 的第二数据库中； 以 及， 将目标坐席客户端针对所述用户提问问题所回复的快捷应答语句存储至所述第二数 据库中； 从所述第二数据库中， 基于所述用户提问问题和所述快捷应答语句之间的第 二对应关 系， 获取人工客服系统在预设时间段内所产生的对话数据集 合。 4.根据权利要求1所述的方法， 其特征在于， 在获取向人工客服系统提交 的目标提问问 题之前， 还 包括： 接收第一 坐席客户端上传的第一快捷应答语句； 以及， 接收所述第一 坐席客户端上传的所述第一快捷应答语句对应的第一 意图标签； 存储所述第一快捷应答语句与所述第一 意图标签之间的对应关系。 5.根据权利要求4所述的方法， 其特征在于， 所述接收所述第 一坐席客户端上传的所述 第一快捷应答语句对应的第一 意图标签， 包括： 确定所述第一快捷应答语句对应的至少一个候选意图标签； 接收所述第一坐席客户端上传的第一意图标签， 其中， 所述第一意图标签为所述至少 一个候选意图标签中的用户意图标签。 6.根据权利要求4所述的方法， 其特征在于， 所述快捷语句集合包括： 个人快捷语句集权　利　要　求　书 1/3 页 2 CN 114490975 A 2合和共享快捷语句集 合； 所述存储所述第一快捷应答语句与所述第一 意图标签之间的对应关系， 包括： 在所述第一坐席客户端对应的个人快捷语句集合中， 添加所述第一快捷应答语句， 以 及存储所述第一快捷应答语句与所述第一 意图标签之间的对应关系。 7.根据权利要求6所述的方法， 其特征在于， 在所述第 一坐席客户端对应的个人快捷语 句集合中， 添加所述第一快捷应答语句之后， 还 包括： 接收所述第一坐席客户端发送的共享快捷语设置请求； 其中， 所述共享快捷语设置请 求中包含所述第一快捷应答语句； 基于所述第一快捷应答语句和所述第一 意图标签， 更新所述共享快捷语句集 合。 8.根据权利要求7所述的方法， 其特征在于， 所述基于所述第 一快捷应答语句和所述第 一意图标签， 更新所述共享快捷语句集 合， 包括： 判断所述共享快捷语句集合中是否存在与所述第一快捷应答语句匹配的第二快捷应 答语句； 若不存在， 则在所述共享快捷语句集 合中， 添加所述第一快捷应答语句； 以及， 基于所述第 一意图标签， 确定所述第 一快捷应答语句的真实意图标签； 其中， 所述真实 意图标签为基于第二 坐席客户端上传的针对所述第一 意图标签的打 分结果确定的； 在所述共享快捷语句集合中， 存储所述第 一快捷应答语句与 所述真实意图标签之间的 对应关系。 9.根据权利要求8所述的方法， 其特征在于， 在判断所述共享快捷语句集合中是否存在 与所述第一快捷应答语句匹配的第二快捷应答语句之后， 还 包括： 若存在， 则判断所述第 一意图标签与所述第 二快捷应答语句对应的第 二意图标签的相 似度是否大于预设阈值； 若大于， 则向所述第一坐席客户端发送第一反馈信息； 其中， 所述第 一反馈信 息指示共 享快捷语句集 合已包含所述第一快捷应答语句； 若不大于， 则向所述第一坐席客户端发送第二反馈信息； 其中， 所述第 二反馈信 息包括 推荐使用的所述第二 意图标签。 10.根据权利要求6所述的方法， 其特征在于， 在基于预设的第 一对应关系， 确定所述目 标快捷应答语句对应的目标意图标签之前， 还 包括： 若所述目标快捷应答语句属于所述个人快捷语句集合， 则在所述个人快捷语句集合 中， 查询所述第一对应关系； 若所述目标快捷应答语句属于所述共享快捷语句集合， 则在所述共享快捷语句集合 中， 查询所述第一对应关系。 11.根据权利要求1所述的方法， 其特征在于， 在基于所述目标意图标签， 对所述目标提 问问题进行 标注， 生成用户意图识别样本集之后， 还 包括： 利用机器学习方法基于所述用户意图识别样本集， 对用户意图识别模型进行训练， 得 到训练的用户意图识别模型； 利用所述用户意图识别模型， 对智能客服系统接收到的用户提问问题进行意图识别， 输出相应的用户意图识别结果。 12.一种用户问题的标注装置， 其特 征在于， 所述装置包括：权　利　要　求　书 2/3 页 3 CN 114490975 A 3