(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211033294.9 (22)申请日 2022.08.26 (71)申请人 中国平安财产保险股份有限公司 地址 518000 广东省深圳市福田区益田路 5033号平安金融中心12、 13、 38、 39、 40 层 (72)发明人 伍林　 (74)专利代理 机构 深圳市世联合知识产权代理 有限公司 4 4385 专利代理师 杨晖琼 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/215(2019.01) G06F 16/242(2019.01) G06F 16/25(2019.01)G06F 16/28(2019.01) (54)发明名称 批量数据异常处理方法、 装置、 计算机设备 及存储介质 (57)摘要 本申请实施例属于数据处理领域， 涉及一种 批量数据异常处理方法， 包括获取待写入的源数 据表， 通过执行异常识别 脚本识别出源数据表的 第一异常数据； 根据第一异常数据对源数据表进 行逻辑改造， 得到改造后的源数据表； 将改造后 的源数据表中的数据写入数据库中最终待写入 的目标数据表， 并在写入 过程中对改造后的源数 据表进行识别， 得到第二异常数据， 同时将第二 异常数据写入异常数据表。 本申请还提供一种批 量数据异常处理装置、 计算机设备及存储介质。 此外， 本申请还涉及区块链技术， 原始源数据表 可存储于区块链中。 本申请能够快速简便地将异 常进行自动化捕获处理， 避免跑批任务出现报错 中断影响后续 业务。 权利要求书2页 说明书12页 附图3页 CN 115328920 A 2022.11.11 CN 115328920 A 1.一种批量数据异常处 理方法， 其特 征在于， 包括下述 步骤： 获取待写入的源数据表， 通过执行异常识别脚本识别出所述源数据表的第一异常数 据； 根据所述第一异常数据对所述源数据表进行逻辑改造， 得到改造后的源数据表； 将所述改造后的源数据表中的数据写入数据库中最终待写入的目标数据表， 并在写入 过程中对所述改造后的源数据表进行识别， 得到第二异常数据， 同时将所述第二异常数据 写入异常数据表。 2.根据权利要求1所述的批量数据异常处理方法， 其特征在于， 所述通过执行异常识别 脚本识别出 所述源数据表的第一异常数据的步骤 包括： 读取所述源数据表中的字段 数据； 通过执行所述异常识别脚本调用预设异常识别函数， 对所述字段数据进行异常识别， 得到第一异常数据， 其中， 所述预设异常识别函数 是根据预设异常类型确定的。 3.根据权利要求1所述的批量数据异常处理方法， 其特征在于， 所述根据 所述第一异常 数据对所述源数据表进行逻辑改造的步骤 包括： 确定所述第一异常数据在所述源数据表中对应的异常字段； 根据所述异常字段的异常类型， 对所述异常字段进行修改。 4.根据权利要求3所述的批量数据异常处理方法， 其特征在于， 所述根据 所述异常字段 的异常类型， 对所述异常字段进行修改的步骤 包括： 若异常类型为主键冲突时， 则将所述异常字段的主键限制删除； 若异常类型为所述第 一异常数据的数据长度不符合预设字段格式， 则将所述异常数据 的数据长度修改为预设字段格式； 若异常类型为所述第一异常数据为字段空值， 则将所述异常字段的字段非空限制删 除。 5.根据权利要求1至4中任一项所述的批量数据异常处理方法， 其特征在于， 所述将所 述改造后的源数据表中的数据写入数据库中最终待写入的目标数据表， 并在写入过程中对 所述改造后的源数据表进行识别， 得到第二异常数据， 同时将所述第二异常数据写入异常 数据表的步骤 包括： 读取所述目标数据表的预设存储结构信 息， 所述预设存储结构信 息包括所述目标数据 表的标准字段属性； 通过数据清洗转换工具读取所述改造后的源数据表中的字段数据， 并确定所述字段数 据的字段属性是否符合对应的标准字段属性； 若符合， 则将与所述标准字段属性一致的字段数据写入所述目标数据表； 若不符合， 则 将与标准字段属性的标准字段格式不一致的字段数据确定为第二异常数据， 将所述第二异 常数据写入所述异常数据表。 6.根据权利要求5所述的批量数据异常处理方法， 其特征在于， 所述将所述字段数据写 入所述目标 数据表的步骤 包括： 按照所述字段数据从所述目标数据表中提取与所述字段数据具有映射关系的标准字 段属性； 将所述标准字段属性和所述字段数据生成写入执行语句， 通过所述写入执行语句将所权　利　要　求　书 1/2 页 2 CN 115328920 A 2述字段数据写入到所述目标 数据表中。 7.根据权利要求6所述的批量数据异常处理方法， 其特征在于， 所述通过所述写入执行 语句将所述字段 数据写入所述目标 数据表中的步骤 包括： 将所述写入执 行语句封装成消息投递至消息队列； 开启导入线程， 从所述消息队列中读取消息， 并解析所述消息， 得到所述写入执行语句 以及所述目标 数据表； 通过所述导入线程执 行所述写入执 行语句， 将所述字段 数据写入所述目标 数据表。 8.一种批量数据异常处 理装置， 其特 征在于， 包括： 识别模块， 用于获取待写入的源数据表， 通过执行异常识别脚本识别出所述源数据表 的第一异常数据； 改造模块， 用于根据所述第一异常数据对所述源数据表进行逻辑改造， 得到改造后的 源数据表； 写入模块， 用于将所述改造后的源数据表中的数据写入数据库中最终待写入的目标数 据表， 并在写入过程中对所述改造后的源数据表进 行识别， 得到第二异常数据， 同时将所述 第二异常数据写入异常数据表。 9.一种计算机设备， 包括存储器和处理器， 所述存储器中存储有计算机可读指令， 所述 处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的批量数据异常处 理方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 可读指令， 所述计算机可读指 令被处理器执行时实现如权利要求 1至7中任一项 所述的批量 数据异常处 理方法的步骤。权　利　要　求　书 2/2 页 3 CN 115328920 A 3