(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111671738.7 (22)申请日 2021.12.31 (71)申请人 山东科技大 学 地址 266510 山东省青岛市黄岛区前湾港 路579号(泰安市泰山区岱宗大街223 号、 济南市天桥区胜利庄路17号) (72)发明人 宫晨羽　王一凡　王雪婷　 (74)专利代理 机构 北京众合诚成知识产权代理 有限公司 1 1246 代理人 邹仕娟 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/35(2019.01) G06F 16/33(2019.01) G06F 40/211(2020.01)G06V 10/75(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习和强化学习的自动回复 对话系统 (57)摘要 本发明公开一种基于深度学习和强化学习 的自动回复对话系统， 包括基于多级神经网络结 构的对话内容分析模块、 问题 解决满意度提取模 块、 数据存储模块、 语言组织模块以及基于循环 神经网络和基于动态工作记忆网络的深度学习 模型模块和强化学习模块； 本发 明基于动态工作 记忆网络对深度学习模型进行训练， 同时配合强 化学习模块实现了系统可针对不同的顾客的不 同性格和情绪进行多样化自动回复， 且针对不同 顾客提出的相同类型的问题给出不同的回复， 杜 绝了传统客服自动回复的单一性， 增加了自动回 复系统的回复语句的多样性， 提高了顾客沟通服 务评价。 权利要求书2页 说明书4页 附图1页 CN 114297364 A 2022.04.08 CN 114297364 A 1.一种基于深度学习和强化学习的自动回复对话系统， 其特 征在于， 包括： 对话内容分析模块， 用于对顾客反馈和客服手动回复解决问题的聊天内容进行分析得 出关键问题语句和解决问题回复关键语句； 问题解决满意度提取模块， 用于根据问题解决后的顾客满意度进行判断， 分别提取出 同类问题的多种问题的最高满意度解决问题回复的语句； 数据存储模块， 用于将多阳性的问题进行分类并将各类问题的满意度最高的解决回复 语句进行存 储； 深度学习 模型模块， 用于根据 数据存储模块存储的多样性问题和各类问题的满意度最 高的解决回复语句建立学习模型， 并基于动态工作记 忆网络进行训练； 强化学习 模块， 用于系统利用深度 学习模型回复不同顾客的相同类型的问题的满意度 进行判别， 并根据不同顾客的交流的语句和语气判断其性格， 强化学习训练后， 选择最合适 的解决问题回复语句进行编辑回复； 语言组织模块， 用于根据顾客提出的问题类型由系统自动组织最佳的解决问题回复语 句。 2.根据权利要求1所述的一种基于深度学习和强化学习的自动回复对话系统， 其特征 在于： 所述对话内容分析模块是基于多级神经网络结构， 利用多个神经网络对聊天内容的 语句进行分析提取和分类的操作。 3.根据权利要求1所述的一种基于深度学习和强化学习的自动回复对话系统， 其特征 在于： 所述对话内容分析模块将顾客发来的产品缺陷或问题类图片进行提取， 产品缺陷图 片则基于图片比对系统与完好的产品进行比对， 发现缺陷大小并作出合理的判断； 问题类 图片则提取图片中的文字信息进行整合并将识别问题类型， 并给 出解决问题的回复语句。 4.根据权利要求1所述的一种基于深度学习和强化学习的自动回复对话系统， 其特征 在于： 所述深度学习模型训练时通过提取顾客反馈和客服手动回复的聊天 内容中的语句进 行学习训练， 所述深度学习模型训练时分离线训练和在线训练。 5.根据权利要求1所述的一种基于深度学习和强化学习的自动回复对话系统， 其特征 在于： 所述深度学习模型训练和强化学习训练均是基于循环神经网络进行训练， 对同一类 型问题的不同顾客的历史解决方法的对话进 行反复训练， 根据不同顾客形成多样性自动回 复。 6.根据权利要求1所述的一种基于深度学习和强化学习的自动回复对话系统， 其特征 在于： 所述动态工作 记忆网络在深度学习模型生成用以解决顾客问题的聊天语句的同时进 行模型内部自我训练， 形成在对话的同时进行模型 学习训练。 7.根据权利要求1所述的一种基于深度学习和强化学习的自动回复对话系统， 其特征 在于： 所述对话内容分析模块根据顾客反馈和客服回复解决问题的聊天记录提取顾客的聊 天语气词， 并根据顾客的聊天记录判断顾客的性格情绪， 所述强化学习训练时根据对话内 容分析模块提供 的数据强化学习针对与顾客交流时的性格情绪做出合理的避免顾客过激 的回复语句， 从而实现最佳的解决问题的效果。 8.根据权利要求7所述的一种基于深度学习和强化学习的自动回复对话系统， 其特征 在于： 所述聊天记录包括聊天语句语气和使用的聊天表情。 9.根据权利要求1所述的一种基于深度学习和强化学习的自动回复对话系统， 其特征权　利　要　求　书 1/2 页 2 CN 114297364 A 2在于： 所述语言组织模块包含了融合个性化信息的回复排序模型， 在编辑回复语句过程中 考虑选用与顾客性格和语气状态匹配的个性化用词,进而给出更适合当前顾客个性化回 复， 以缓解顾客过激或不 好的情绪， 提高问题解决满意度。 10.根据权利要求1所述的一种基于深度学习和强化学习的自动回复对话系统， 其特征 在于： 所述语言组织模块组织个性化回复语句时根据 顾客的性格和语气编辑穿插入表情回 复顾客。权　利　要　求　书 2/2 页 3 CN 114297364 A 3