| 基于知识图谱的复杂 问题推理问答 史佳欣 华为云高级研究员 目录 CONTENT 01 背景介绍 03 跨领域迁移 02 04 什么是知识图谱复杂问答 已有方法简介 构造推理过程数据 推理过程语言KoPL简介 如何构造逻辑语言平行数据 将已有的逻辑语言标注迁 移到其他领域 隐式学习推理过程 无需标注数据，自动学习 推理过程 | | 01 背景介绍 什么是知识图谱复杂问答 已有方法简介 KBQA 问题：勒布朗·詹姆斯生日是什么时候？ 答案: 1984年12月30日 | 简单问答和复杂问答 简单问题： 复杂问题： 包含一个实体和一个关系 需要多种推理技能才能解决，包括多跳推 理、计数、比较、逻辑运算等等 例如 • 中国的首都是哪里？ • xx公司的CEO是谁？ • xx专家毕业于哪个学校？ 例如： • xx公司的CEO有哪些朋友？ • 有多少家公司持有xx公司的股票？ • A股市场2021年涨幅最高的是哪家公司？ • 哪些专家同时在BAT工作过？ | 简单问答相关工作 中国的首都是哪里？ 实体链接 关系分类 mention：中国 predicate：首都 知识 图谱 长城 属于 国宝 熊猫 国籍 中国 首都 姚明 北京 | 复杂问答相关工作 信息检索法 语义解析法 memory SPARQL 问题 SELECT ?e WHERE { { ?e <name> “LeBron James ” . } UNION { ?e_1 <name> “LeBron James ” . ?e <son> ?e_1 . } ?e <height> ?v . } ORDER BY DESC(?v) LIMIT 1 λ-DCS Query Graph Program …… Key Addressing keys values Value Reading qt+1 qt …… Feature Updating …… Aggregate A Q Dong, et al. Language to Logical Form with Neural Attention. ACL 2016. Miller, et al. Key-Value Memory Networks for Directly Reading Documents. ACL 2016. Sun, et al. PullNet: Open Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text. EMNLP 2019. | 复杂问答相关工作 语义解析法 信息检索法 优势: 优势： • • • 各种问题都能处理 可解释的推理过程 • 只需要(问题-答案)标注数据就可 以训练模型 端到端预测结果 劣势: • 需要推理过程的标注数据来 训练解析器 劣势 • • 解决问题的能力有限 中间过程不可解释，难以控制 | 要解决的关键问题 针对语义解析类方法，我们主要探讨3个问题： • 如何构建推理过程的标注数据？ • 在某个领域上获得的标注数据，可以帮助其他领域的学习吗？ • 在没有标注的情况下，是否可以自动习得推理过程？ | | 02 构造推理过程数据 推理过程语言KoPL简介 如何构造逻辑语言平行数据 推理过程描述语言——Knowledge-oriented Programming Language (KoPL) 问题：勒布朗·詹姆斯和他儿子谁更高？ Find SELECT ?e WHERE { { ?e <name> “LeBron James ” . } UNION { ?e_1 <name> “LeBron James ” . ?e <son> ?e_1 . } ?e <height> ?v . } ORDER BY DESC(?v) LIMIT 1 SPARQL 勒布朗·詹姆斯 Select VS 高度 更大 Find Relate 勒布朗·詹姆斯 儿子 KoPL 注重过程，符合人类思维，更容易理解 | 推理过程描述语言——Knowledge-oriented Programming Language (KoPL) KoPL特点： • • 强类型语言，包含7种知识类型 14个知识图谱元素操作 + 13个查询操作 | 推理过程描述语言——Knowledge-oriented Programming Language (KoPL) KoPL特点： • • 强类型语言，包含7种知识类型 14个知识图谱元素操作 + 13个查询操作 | 推理过程描述语言——Knowledge-oriented Programming Language (KoPL) KoPL优势： • • • • 注重过程，透明的中间结果 符合人类思维，容易理解，方便人机交互 操作具有良好的可组合性 可以面向多种知识来源 结构化知识图谱 (e.g., Wikidata) Find 勒布朗·詹姆斯 SelectBetween 高度 更大 非结构化文本知识 (e.g., Wikipedia) Find Relate 勒布朗·詹姆斯 儿子 | 大规模知识库问答数据集——KQA Pro 基于KoPL基本操作的组合，大规模生成复杂问题 模板：<> 和 <> 谁的 <> 更 <大/小>？ 模板 Find 采样 ? Select Find ? greater/smaller ? 组合 Find 递归 ? Select Find Relate ? greater/smaller ? ? | 大规模知识库问答数据集——KQA Pro 每个样例同步生成5个元素 • • • • • 由模板得到的问题 SPARQL KoPL 10个候选答案 标准答案 | 大规模知识库问答数据集——KQA Pro 问题生成 众包转写 转写一： 模板问题： 勒布朗·詹姆斯和勒布朗·詹姆斯的 儿子谁的高度更大？ 勒布朗·詹姆斯和他儿子谁更高？ 转写二： 勒布朗·詹姆斯的个子是不是比他 儿子高？ 众包评测 保持原意：是 是 是 是 是 流畅性：5 4 4 5 5 保持原意：否 否 否 是 否 流畅性：4 4 4 5 3 最终规模：约12万条数据（五元组） 首个包含自然语言、全知识类型、多种逻辑形式的大规模数据集 | 下一个问题 公司 行业 医院 知识图谱一 股票 知识图谱二 融资 病人 是否可以帮助其他领域 学习推理过程？ 问题：AI行业哪家公司 2021年融资最多？ KoPL： Find 答案：xx公司 …… Concept Select 医生 问题：哪家传染病医院 2021年接待过最多病人？ KoPL： Relate 药物 ? 答案：xx医院 …… | | 03 跨领域迁移 将已有的推理过程标注迁移到其他 领域 跨领域迁移 推理过程 参数 骨架 Find Relate Concept Select AI行业 所属行业 公司 2021年融资 最多 问题：AI行业哪家公司2021年融资最多？ Find AI行业 Relate Concept 所属行业 公司 Select 2021年融资 最多 |