(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111529287.3 (22)申请日 2021.12.14 (71)申请人 国家电网有限公司 地址 100000 北京市西城区西长安 街86号 申请人 国网重庆市电力公司 　 国网重庆市电力公司物资 分公司 (72)发明人 邓努波　刘珮　张丽娟　陈丽娟　 徐世阳　向洪伟　巫俊洁　邓燕晶　 张建华　 (74)专利代理 机构 济南舜源专利事务所有限公 司 37205 代理人 徐胭脂 (51)Int.Cl. G06F 16/9032(2019.01) G06V 40/70(2022.01)G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) G06Q 10/10(2012.01) G10L 13/04(2013.01) G10L 15/00(2013.01) G10L 15/06(2013.01) G10L 15/18(2013.01) G10L 15/22(2006.01) G10L 15/30(2013.01) H04L 67/02(2022.01) (54)发明名称 一种面向电力物资业务场景的多模态人机 交互系统 (57)摘要 本发明提供一种面向电力物资业务场景的 多模态人机交互系统， 数据收集处理模块用于收 集业务数据、 场景数据以及电力物资数据， 将数 据信息进行储存； 根据调用指令， 调取相应数据； 算法引擎模块用于对数据进行语义解析， 支撑应 用模块各类应用； 应用模块用于提供基于电力物 资业务应用程序。 系统可 以通过形象逼真、 生动 活泼的AI虚拟人与供应商进行实时语音互动， 以 代替传统人工服务的方式， 减轻工作人员工作 量， 提高服务效率。 用户可 以直接以语音交互的 方式与虚拟人进行互动。 针对电力物资业务场 景， 业务专区主要有招投标业务、 合同处理、 供应 商信息处理等应用， 通过B/S部署模式调用数据 中心数据， 并协助供应商完成业 务办理。 权利要求书2页 说明书6页 附图3页 CN 114186108 A 2022.03.15 CN 114186108 A 1.一种面向电力物资业务场景的多模态人机交互系统， 其特征在于， 包括： 数据收集处 理模块、 算法引擎模块以及应用模块； 所述数据收集处理模块用于收集业务数据、 场景数据以及电力物资数据， 将数据信息 进行储存； 根据调用指令， 调取相应数据； 所述算法引擎模块用于对数据进行语义 解析， 支撑应用模块各类 应用； 所述应用模块用于提供基于电力物资业 务应用程序。 2.根据权利要求1所述的面向电力物资业 务场景的多模态人机交 互系统， 其特 征在于， 数据收集处 理模块包括： 外 部数据收集单 元、 数据库单 元以及数据中心单 元； 外部数据收集单元用于收集用户交互信 息， 收集方式包括： 通过视频采集交互信 息， 或 者通过声音采集交 互信息， 或者 通过触摸采集交 互信息， 或通过鼠标键盘采集交 互信息； 数据库单 元用于存 储收集用户交 互信息和训练更新模型； 数据中心单 元用于存 储业务相关数据， 作为 业务办理数据来源。 3.根据权利要求1所述的面向电力物资业务场景的多模态人机交互系统， 其特征在于， 还包括： 数据库以及电力业 务数据处 理模块； 电力业务数据处理模块用于在数据库中构建电力业务信 息之间的关联关系， 构建关联 网图； 分析电力业务信息， 从中提取出具有实现功能的逻辑关系， 或者具有前后执行顺序逻 辑关系， 或具有时间前后发展关系的电力业务信息， 并在关联网图中将电力业务信息配置 相互之间的逻辑关系图； 将具有指向关系的电力业务信 息配置为多元电力业务矩阵， 将多元电力业务矩阵配置 到预设深度神经网络所构建的电力业务逻辑关系图， 得到包含各种电力业务信息之 间的有 向关系的电力服 务信息； 按照遍历顺序分析电力业务信 息与电力业务信 息之间的电力业务有向关系图， 并将有 向关系配置成电力特 征值。 4.根据权利要求3所述的面向电力物资业 务场景的多模态人机交 互系统， 其特 征在于， 电力业务数据处理模块还用于预先训练多层深度神经网络， 获取系统中的历史电力业 务信息， 将获取的电力业务信息进行匹配得到电力业务信息与电力业务信息之 间的电力业 务有向关系图， 通过构建的电力业务有向关系图， 将电力业务有向关系做成多元电力业务 矩阵， 将相邻采样时刻的多元电力业 务矩阵作为多层深度神经网络的输入和输出； 多层深度神经网络包括脉冲神经网络、 卷积神经网络、 循环神经网络 。 5.根据权利要求1所述的面向电力物资业 务场景的多模态人机交 互系统， 其特 征在于， 应用模块还 包括： 虚拟人终端； 虚拟人终端用于进行感知判断是否有人， 若无 人则播放预置视频； 若有人则主动播 放引导视频， 进入语音交 互模式； 还用于进行语义识别， 如识别失败则提 示用户， 重新获取语音信息； 根据识别结果 为用户提供相对应的应用服 务； 还提示用户是否 选择结束本次服 务， 若是则结束本次服 务。 6.根据权利要求5所述的面向电力物资业 务场景的多模态人机交 互系统， 其特 征在于， 用户在与虚拟人终端进行语音交互过程中， 用户提问的业务超出虚拟人业务服务范围权　利　要　求　书 1/2 页 2 CN 114186108 A 2或者系统识别错误无法查询到答案的次数超过3次时， 虚拟人终端将进 行拒绝识别， 并提示 用户重新进入语音交 互模式。 7.根据权利要求6所述的面向电力物资业 务场景的多模态人机交 互系统， 其特 征在于， 所述算法引擎模块包括： 语音识别单 元、 语音合成单 元以及自然语言处 理单元； 语音识别单元用于语音识别， 包含文本时间戳、 智能断句、 中英文混合识别、 即时输出 识别结果以及自动静音检测组件； 语音合成单元用于对语音进行合成， 对多种输出格式进行合成， 对多种采用率进行合 成， 对音色进行调节， 对语速按照预设速率进行调节； 自然语言处理单元用于对知识推理和意图识别， 具体包含对话识别、 语料词库调取、 模 型优化以及标注训练。 8.根据权利要求1所述的面向电力物资业 务场景的多模态人机交 互系统， 其特 征在于， 数据收集处理模块还用于使用摄像头、 传感器设备捕获外部数据， 数据库配置基于电 力物资业 务场景的电力业 务逻辑关系， 在电力物资业 务场景下进行数据推理； 数据中心采用java框架开发数据库， 部署模式为B/S模式； 还对签合同信息和招投标信 息进行管理。 9.根据权利要求1所述的面向电力物资业 务场景的多模态人机交 互系统， 其特 征在于， 算法引擎模块还用于通过Web  API接口调用引擎平台组件， 引擎平台组件包含语音识 别、 语音合成和自然语言处 理组件。 10.根据权利要求1所述的面向电力物资业务场景的多模态人机交互系统， 其特征在 于， 应用模块提供天气情况查询界面、 语音和文字沟通服务； 用户以语音交互的方式与虚 拟人进行互动； 通过B/S部署模式调用数据中心数据， 并协助供应商完成业 务办理。权　利　要　求　书 2/2 页 3 CN 114186108 A 3