(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210399044.0 (22)申请日 2022.04.15 (71)申请人 广州方硅信息技 术有限公司 地址 511442 广东省广州市番禺区南村镇 万博二路79号3108 (72)发明人 林佳铖　 (74)专利代理 机构 广州利能知识产权代理事务 所(普通合伙) 44673 专利代理师 王增鑫 (51)Int.Cl. G06F 16/28(2019.01) G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/36(2019.01) G06F 11/30(2006.01) (54)发明名称 分层数据校验方法及其装置、 设备、 介质 (57)摘要 本申请公开一种分层数据校验方法及其装 置、 设备、 介质， 所述方法包括： 响应由开发端推 送的作用于分层数据仓库的数据模 型添加指令， 获取新数据模 型中所包含的多个计算任务， 且获 取模型数据表的标准表名； 对各计算任务进行测 试运行， 生成表征计算任务所消耗的计算资源的 资源消耗数据， 且确定出所述计算任务各自的引 用数据表； 基于模型数据表的标准表名的数据层 级， 对各引用数据表进行上下游溯源， 绘制数据 表映射关系图谱； 根据模型数据表与各引用数据 表的标准表名， 对所述引用数据表进行层级校 验， 且为该数据模型匹配出优于跨层或错层引用 的引用数据表的推荐数据表。 本申请有效管理升 分层数据仓库中数据表的质量， 且提升仓库中数 据模型的计算效率。 权利要求书3页 说明书18页 附图8页 CN 114722126 A 2022.07.08 CN 114722126 A 1.一种分层数据校验方法， 其特 征在于， 包括如下步骤： 响应由开发端推送的作用于分层数据仓库的数据模型添加指令， 获取该指令所对应的 数据模型中所包含的多个计算任务， 且获取该数据模型所对应的模型数据表的标准表名， 所述标准表名中包 含数据层级、 数据更新频率与数据主题； 对各所述计算任务进行测试运行， 确定所述计算任务各自运行所需消耗的计算资源， 进而生成表征各计算任务所消耗的计算资源的资源消耗数据， 且确定出所述计算任务各自 在所述分层数据仓库中所对应的引用数据表； 基于所述模型数据表的标准表名中的数据层级， 对各所述引用数据表分别进行上下游 溯源， 确定所述引用数据表各自在所述分层数据仓库中相关联的上下游数据表， 绘制以所 述模型数据表为中心 节点的数据表映射关系图谱； 根据所述模型数据表与各所述引用数据表的标准表名， 分别对所述引用数据表进行层 级校验， 若某一引用数据表的校验结果表征存在跨层引用或错层引用时， 则为该数据模型 匹配出优于该引用数据表的推荐数据表， 并将该推荐数据表、 所述资源消 耗数据及数据表 映射关系图谱推送至所述 开发端中。 2.根据权利要求1所述的方法， 其特征在于， 所述响应由开发端推送的作用于分层数据 仓库的数据模型 添加指令的步骤之前， 包括如下由开发端执 行的步骤： 响应作用于模型数据表的创建指令， 获取该创建指令所对应的模型数据表的数据表 名； 根据预设的命名规则， 对所述数据表名进行命名校验， 校验该数据表名中是否包含数 据层级、 数据更新频率及数据主题； 当所述数据表名通过命名校验时， 该数据表名将作为标准表名与所述模型数据表封装 为数据模型 添加指令推送至服 务器。 3.根据权利要求1所述的方法， 其特征在于， 所述对各所述计算任务进行测试运行， 确 定所述计算任务各自运行所需消耗的计算资源， 进而生成表征各计算任务所消耗的计算资 源的资源消耗数据的步骤中， 包括如下由服 务器执行的步骤： 运行所述计算任务， 确定该计算任务完成运行时所占用的内存指标及处 理器指标； 将所述内存指标及处理器指标作为所述计算任务的计算资源， 以生成包含该计算资源 及所述计算任务的任务名称的映射关系数据； 以此类推， 生成所有计算任务的映射关系数据， 进而生成包含所述映射关系数据的所 述资源消耗数据。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述数据模型所对应的模型数据 表在所述分层数据仓库中的数据层级， 对各所述引用数据表分别进行上下游溯源， 确定所 述引用数据表各自在所述分层数据仓库中相关联的上下游数据表， 绘制以所述模型数据 表 为中心节点的数据表映射关系图谱的步骤中， 包括如下由服 务器执行的步骤： 获取所述模型数据表的标准表名中包含的数据层级作为第 一数据层级， 获取当前引用 数据表的标准表名中包 含的数据层级作为第二数据层级； 当所述第一数据层级超过所述第 二数据层级时， 则确定出当前引用数据表在所述第 一 与第二数据层级之 间相关联的一个或多个数据 表作为当前引用数据表的上游数据 表， 进而 将当前引用数据表作为其上游路径的末端节点， 以该末端节点为绘制起点， 按照各所述上权　利　要　求　书 1/3 页 2 CN 114722126 A 2游数据表各自对应的数据层级， 从低到高依次将所述上游数据表绘制为所述上游路径中的 节点； 当所述第二数据层级超过所述第 一数据层级时， 则确定出当前引用数据表在所述第 一 与第二数据层级之 间相关联的一个或多个数据 表作为当前引用数据表的下游数据 表， 进而 将当前数据表作为其下游路径的起始节点， 以该起始节点为绘制起点， 按照各所述下游数 据表各自对应的数据层级， 从高到低依次将所述下游数据表绘制为所述下游路径中的节 点； 以此类推， 分别绘制出各所述引用数据表的上游路径或下游路径后， 以所述模型数据 表为所述路径的中心节点连接各所述上游路径及下游路径， 绘制所述数据表映射关系图 谱。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述模型数据表与各所述引用数 据表的标准表名， 分别对所述引用数据表进行层级校验的步骤中， 包括如下 由服务器执行 的步骤： 获取所述模型数据表的标准表名中包含的数据层级作为第 一数据层级， 获取当前引用 数据表的标准表名中包 含的数据层级作为第二数据层级； 当所述第一数据层级大于第二数据层级， 且双方之间的层级区间超过一时， 则表征引 用当前引用数据表为 跨层引用， 将为当前引用数据表生成表征跨层引用的校验结果； 当所述第一数据层级小于第二数据层级时， 则表征引用当前引用数据表为错层引用， 将为当前引用数据表生成表征错层引用的校验结果。 6.根据权利要求1所述的方法， 其特征在于， 所述则为该数据模型匹配出优于该引用数 据表的推荐引用数据表步骤中， 包括如下由服 务器执行的步骤： 将所述模型数据表的标准表名中包含的数据层级作为第一数据层级及数据更新频率 作为目标数据更新频率， 且将跨层或错层的引用数据 表的标准表名中包含的数据主题作为 目标数据主题及数据层级作为第二数据层级； 确定出所述分层数据仓库中处于最大等于所述第一数据层级及最小高于第二数据层 级的层级区间的一个或多个目标数据层级， 以查询出所述目标数据层级中标准表名具有 所 述目标数据主题的一个或多个第一数据表； 查询所述第一数据表中是否存在标准表名具有所述目标数据更新频率且数据层级最 接近第一数据层级的引用数据表， 若存在， 则进一步查询出该引用数据表将作为所述推荐 引用数据表， 若不存在， 则将所述第一数据表中所处的数据层级最接近第一数据层级的引 用数据表作为所述推荐引用数据表。 7.根据权利要求1所述的方法， 其特征在于， 所述将该推荐数据表、 所述资源消耗数据 及数据表映射关系图谱推送至所述 开发端中的步骤之后， 包括如下由服 务器执行的步骤： 响应作用于所述分层数据仓库的定期扫层指令， 对该分层数据仓库的所有数据分层各 自所具有的数据表进行层级校验； 确定出具有层级校验结果为存在跨层引用或错层引用的一个或多个目标数据模型， 为 所述目标数据模型匹配出优于其层级校验结果所对应的引用数据表的推荐引用数据表进 行推送， 以便所述目标 数据模型 所对应的开发端 进行模型优化。 8.一种分层数据校验 装置， 其特 征在于， 包括:权　利　要　求　书 2/3 页 3 CN 114722126 A 3