(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210993081.4 (22)申请日 2022.08.18 (71)申请人 广州搏创信息科技有限公司 地址 510800 广东省广州市花都区天贵路 88号科技大楼 A座612 (72)发明人 林芸晓　胡建国　张充　宋政　 李洋　夏邦　马志华　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 余凯欢 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/36(2019.01) G06F 16/35(2019.01) G06F 40/295(2020.01)G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的问答方法、 装置及电子 设备 (57)摘要 本发明公开了一种基于深度学习的问答方 法、 装置及电子设备， 方法包括： 获取原始数据 集； 对所述原始数据集进行标注处理后， 构建得 到针对目标领域的知识图谱； 获取所述目标领域 的相关问题信息； 其中， 所述相关问题信息包括 文字信息和图片信息； 使用基于BERT的上下文建 模对所述相关问题信息进行意图识别， 得到目标 实体和用户意图； 根据所述目标实体和用户意 图， 构建数据库查询语句， 并向所述相关问题信 息反馈查询结果； 根据所述查询结果的内容， 进 行前端信息显示。 本发明能够提高效率和准确 性， 可广泛应用于 计算机技 术领域。 权利要求书2页 说明书10页 附图2页 CN 115438160 A 2022.12.06 CN 115438160 A 1.一种基于深度学习的问答方法， 其特 征在于， 包括： 获取原始数据集； 对所述原 始数据集进行 标注处理后， 构建得到针对目标 领域的知识图谱； 获取所述目标领域的相关问题信息； 其中， 所述相关问题信息包括文字信息和图片信 息； 使用基于BERT的上下文建模对所述相关问题信息进行意图识别， 得到目标实体和用户 意图； 根据所述目标实体和用户意图， 构建数据库查询语句， 并向所述相关问题信息反馈查 询结果； 根据所述 查询结果的内容， 进行 前端信息 显示。 2.根据权利要求1所述的一种基于深度 学习的问答方法， 其特征在于， 所述对所述原始 数据集进行 标注处理， 包括： 采用自扩展算法从预设数据集获取能够体现各个不同实体之间的大类关系的语义词 汇； 将所述语义词汇作为特征， 加入最大熵机器学习算法的特征集， 完成对原始数据集的 标注。 3.根据权利要求1所述的一种基于深度 学习的问答方法， 其特征在于， 所述构建得到针 对目标领域的知识图谱， 包括： 通过Bi‑LSTM结合CNN对所述目标领域的相关文本数据集和图片数据集进行实体抽取 和关系抽取， 得到结构化数据； 通过Python的第三方库py2neo对所述结构化数据进行编写导入， 存储到Neo4j图数据 库。 4.根据权利要求1所述的一种基于深度 学习的问答方法， 其特征在于， 当所述相关 问题 信息为文字信息时， 所述方法还 包括： 对文本信息进行实体识别的步骤， 该步骤 包括： 将标注的数据输入到预训练的模型中， 使用预先训练好的BERT语言表示模型对输入序 列生成词嵌入； 将生成的词嵌入用于训练BiLSTM ‑CRF模型得到训练模型； 用训练模型对大 量的无标注数据进行 标签预测， 得到无 标注数据的伪标记； 对于所述伪标记， 使用基于双重标注样本选择策略进行样本选择； 选择高置信度的样 本， 形成置信集合； 将该置信集合加入标注样本数据集， 更新训练集； 对模型进行下一轮训 练， 在下一轮迭代中对模 型参数进行更新； 其中， 所述BiLSTM ‑CRF模型的训练过程和所述高 置信度的样本的选择过程循环进行， 直到无标注数据集为空或达到预设的迭代次数， 完成 识别过程。 5.根据权利要求1所述的一种基于深度 学习的问答方法， 其特征在于， 当所述相关 问题 信息为图片信息时， 所述方法还 包括： 对图片信息进行实体识别的步骤， 该步骤 包括： 定义节点和子图的嵌入表示以及节点映射 函数； 给定一个图， 图中每个节点特征由映射函数进行映射， 所述映射函数将每个节点映射 为向量； 对于多层神经网络中的每个隐藏层， 输入一个无向图， 确定该无向图中每个节点对应 的特征， 根据隐藏层的输出 结果， 对每 个节点的特 征进行更新；权　利　要　求　书 1/2 页 2 CN 115438160 A 2在每个KerGNN层定义一组图滤波器提取输入图中每 个节点周围的局部结构信息； 对于一层K erGNN层， 通过每层的图滤波器获得节点在该层的输出； 对于多层K erGNN层， 通过叠加单层K erGNN和readout层来构建多层K erGNN； 通过KerGNN设置图级别的readout为图生成嵌入层， 通过对所有节点的嵌入层求和， 得 到每一层的图表示， 并将所有层的图表示连接； 进行相关图片特征识别之后， 再基于注意力 机制以少量语言描述特征为导向生成图像 描述的特 征表示， 完成实体识别。 6.根据权利要求4或5所述的一种基于深度学习的问答方法， 其特征在于， 所述使用基 于BERT的上 下文建模 对所述相关问题信息进行意图识别， 得到目标实体和用户意图， 包括： 将识别出的实体进行数字化， 表示为机器可以理解的编码向量形式， 该编码向量是由 字向量、 文本向量和位置向量 求和得到； 将编码向量输入到BERT模型中， 获取文本中不同层次的语义信息； 构建分类模型对BERT输出的文本语义向量进行权 重训练， 获得意图分类结果。 7.一种基于深度学习的问答装置， 其特 征在于， 包括： 第一模块， 用于获取原 始数据集； 第二模块， 用于对所述原始数据集进行标注处理后， 构建得到针对目标领域的知识图 谱； 第三模块， 用于获取所述目标领域的相关问题信息； 其中， 所述相关 问题信息包括文字 信息和图片信息； 第四模块， 用于使用基于BERT 的上下文建模对所述相关问题信息进行意 图识别， 得到 目标实体和用户意图； 第五模块， 用于根据 所述目标实体和用户意图， 构建数据库查询语句， 并向所述相关问 题信息反馈查询结果； 第六模块， 用于根据所述 查询结果的内容， 进行 前端信息 显示。 8.一种电子设备， 其特 征在于， 包括处 理器以及存 储器； 所述存储器用于存 储程序； 所述处理器执行所述程序实现如权利要求1至 6中任一项所述的方法。 9.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有程序， 所述程序被处理 器执行实现如权利要求1至 6中任一项所述的方法。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115438160 A 3