(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210850890.X (22)申请日 2022.07.19 (71)申请人 苏州数猎科技有限公司 地址 215100 江苏省苏州市吴中区越 溪街 道塔韵商务广场171 1 (72)发明人 程凯征　 (74)专利代理 机构 北京东方盛凡知识产权代理 事务所(普通 合伙) 11562 专利代理师 沈晓彦 (51)Int.Cl. G06F 16/215(2019.01) G06F 8/41(2018.01) G06F 16/36(2019.01) (54)发明名称 一种基于知识图谱的自动数据清洗方法 (57)摘要 本发明公开了一种基于知识图谱的自动数 据清洗方法， 包括： 获取待清洗数据， 生成知识图 谱； 获取待清洗数据所属领域的业务领域知识， 基于业务领域知识调整初始知识图谱， 获得最终 知识图谱， 通过路径排序推理算法调整数据清洗 顺序和流程； 从最终知 识图谱中获取待清洗数据 的字段对应的清洗要求和规则， 组织清洗逻辑； 基于数据清洗顺序、 流程及逻辑对待清洗数据进 行数据清洗， 清洗完成后将数据输出。 本发明使 用知识图谱来存放数据清洗相关的信息， 并通过 图谱的推理和查询能力， 自动构建数据清洗流程 和逻辑， 相比原有硬编码方式实现数据清洗的过 程， 更加灵活， 可 维护性更高， 工作量小， 效率高， 准确率高。 权利要求书2页 说明书4页 附图1页 CN 115098488 A 2022.09.23 CN 115098488 A 1.一种基于知识图谱的自动数据清洗方法， 其特 征在于， 包括以下步骤： 从数据文件或数据库中获取待清洗数据， 基于待清洗数据， 自动生成初始知识图谱； 获取所述待清洗数据 所属领域的业务领域知识， 基于所述业务领域知识调 整所述初始 知识图谱， 获得最终知识图谱； 基于所述 最终知识图谱， 通过路径排序推理算法调整数据清洗顺序和数据清洗流 程； 基于所述最终知识图谱， 获取所述待清洗数据的字段对应的清洗要求与清洗规则， 基 于所述清洗要求与所述清洗规则组织清洗 逻辑； 基于所述数据清洗顺序、 所述数据清洗流程及所述清洗逻辑对待清洗数据进行数据清 洗； 数据清洗 完毕后， 将清洗后的数据输出至文件或目标 数据库。 2.根据权利要求1所述的基于知识图谱的自动数据清洗方法， 其特征在于， 所述初始知 识图谱的获取过程包括： 基于待清洗数据中的字段名称、 字段长度、 字段内容以及取值范围 生成所述初始知识图谱的节点， 基于待清洗数据中表之间的主外键关系， 生成所述初始知 识图谱的边。 3.根据权利要求1所述的基于知识图谱的自动数据清洗方法， 其特征在于， 所述最终知 识图谱的获取过程包括： 将所述业务领域知识中的名词补充定义为所述初始知识图谱的节 点或根据所述名词对所述初始知识图谱的节点进 行调整， 将业务领域知识中的名词间的关 系补充定义为所述初始知识图谱的边或根据名词间的关系对所述初始知识图谱的边进行 调整， 获得最终知识图谱， 其中， 名词指业 务领域中的实体。 4.根据权利要求2所述的基于知识图谱的自动数据清洗方法， 其特征在于， 调整所述数 据清洗顺序和所述数据清洗流程的过程包括： 基于路径排序推理算法对所述最终知识图谱 进行遍历， 将所述字段按照亲密度进 行排序， 得到待清洗数据中最重要的数据字段， 确定数 据清洗的顺序和流 程。 5.根据权利要求1所述的基于知识图谱的自动数据清洗方法， 其特征在于， 所述清洗过 滤的过程包括： 剔除不符合规则与要求的数据， 并记入清洗日志， 按照计算逻辑及清洗顺序 自动计算 填充字段 数据， 并将结果记录 至缓存。 6.一种基于知识图谱的自动数据清洗系统， 其特征在于， 包括： 数据加载模块、 数据图 谱模块、 数据清洗模块、 数据输出模块； 数据加载模块分别与所述数据图谱模块、 所述数据 清洗模块连接， 数据图谱 模块与数据清洗模块相连， 数据清洗模块与数据输出模块相连。 7.根据权利要求6所述的基于知识图谱的自动数据清洗系统， 其特征在于， 所述数据加 载模块用于从数据文件或者数据库中获取待清洗数据， 数据图谱模块基于所述待清洗数据 生成初始知识图谱。 8.根据权利要求7所述的基于知识图谱的自动数据清洗系统， 其特征在于， 获取待清洗 数据所属领域的业务领域知识， 所述数据图谱模块基于所述业务领域知识， 对所述初始知 识谱图进行调整， 获得最终知识图谱。 9.根据权利要求8所述的基于知识图谱的自动数据清洗系统， 其特征在于， 所述数据清 洗模块用于从所述最终知识图谱获取数据清洗顺序、 数据清洗流程及所述清洗逻辑， 获取 后对待清洗数据进行 数据清洗 。 10.根据权利要求6所述的基于知识图谱的自动数据清洗系统， 其特征在于， 所述数据权　利　要　求　书 1/2 页 2 CN 115098488 A 2输出模块用于将清洗后的数据输出至文件或目标 数据库。权　利　要　求　书 2/2 页 3 CN 115098488 A 3