(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210511801.9 (22)申请日 2022.05.11 (71)申请人 上海柯林布瑞信息技 术有限公司 地址 200233 上海市徐汇区宜山路70 0号B2 栋1504 (72)发明人 秦晓宏　黄主斌　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 岳晓萍 (51)Int.Cl. G06F 9/445(2018.01) G06F 16/25(2019.01) (54)发明名称 基于配置表的程序配置文件生 成方法、 装置 及设备 (57)摘要 本发明公开了一种基于配置表的程序配置 文件生成方法、 装置及设备。 该方法通过所确定 的至少一个目标生成数据表的标识信息在各源 数据表中确定分别与各目标生成数据表对应的 各目标源数据表， 进而根据各目标源 数据表对应 的元数据信息生成配置表， 进而通过配置表生成 用于将各目标源数据表的数据转化为各目标生 成数据表的数据的目标程序配置文件， 实现了基 于配置表的程序配置文件的自动生成， 根据所生 成的程序配置文件可以同时对多个源数据表进 行处理， 解决了现有技术中人为编写的程序配置 文件只能对一个源数据表进行处理的技术问题， 进而解决了在处理批量源数据表时程序配置文 件的编写成本高、 效率低的问题， 进而提高了对 源数据表的处 理效率。 权利要求书2页 说明书13页 附图4页 CN 114816578 A 2022.07.29 CN 114816578 A 1.一种基于配置表的程序配置文件生成方法， 其特 征在于， 包括： 确定源数据库中各源数据表对应的元 数据信息； 确定至少一个目标生成数据表的标识信 息， 基于各所述标识信 息在各所述源数据表中 确定分别与各 所述目标生成数据表对应的各目标源数据表； 基于各所述目标源数据表对应的元数据信 息生成配置表， 根据 所述配置表生成目标程 序配置文件， 其中， 所述 目标程序配置文件用于将与各所述 目标生成数据表对应的各目标 源数据表的数据转 化为各所述目标生成数据表的数据。 2.根据权利要求1所述的方法， 其特征在于， 所述基于各所述目标源数据表对应的元数 据信息生成配置表， 包括： 获取用于存放元 数据信息的预设数据表； 按照预设数据存放格式分别将各所述目标源数据表对应的元数据信息存储至所述预 设数据表， 基于所述预设数据表确定配置表。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述配置表生成 目标程序配置文 件， 包括： 获取预先设置的程序配置文件 模板； 基于所述配置表中各所述目标源数据表对应的元数据信 息和所述程序配置文件模板， 生成分别与各 所述目标源数据表对应的数据处 理语句； 基于各所述数据处 理语句确定目标程序配置文件。 4.根据权利要求3所述的方法， 其特征在于， 所述基于各所述数据处理语句确定目标程 序配置文件， 包括： 基于所述程序配置文件模板对应的预设语句数量阈值以及各所述数据处理语句， 生成 至少一个目标程序配置文件； 或者， 基于所述程序配置文件模板对应的预设语句比例阈值以及各所述数据处理语句， 生成 至少一个目标程序配置文件。 5.根据权利要求3所述的方法， 其特征在于， 所述基于所述配置表中各所述目标源数据 表对应的元数据信息和所述程序配置文件模板， 生成分别与各所述目标源 数据表对应的数 据处理语句， 包括： 分别获取所述程序配置文件模板 中的表转化模板部分、 表创建模板部分以及数据插入 模板部分； 基于所述配置表中的各所述目标源数据表对应的元数据信息、 所述表转化模板部分、 所述表创建模板部 分以及所述数据插入模板部 分， 分别生成各所述目标源 数据表对应的表 转化语句、 表创建语句以及数据插 入语句。 6.根据权利要求1所述的方法， 其特征在于， 所述源数据表对应的元数据信 息包括源数 据表对应的标识信息， 所述确定 至少一个目标生成数据表的标识信息， 包括： 基于各所述源数据表对应的标识信 息， 确定与 各所述源数据表对应的目标数据表的标 识信息； 于预设界面上展示各 所述源数据表对应的元 数据信息中各源数据表对应的标识信息； 根据用户在所述预设界面上针对各所述源数据表对应的标识信息的选取操作确定至 少一个目标生成数据表的标识信息 。权　利　要　求　书 1/2 页 2 CN 114816578 A 27.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 启动数据流处理程序， 以使所述数据流处理程序基于所述目标程序配置文件开启与 各 所述目标源数据表对应的有向无环进程； 基于各所述有向无环进程以及各所述目标源数据表的数据， 生成分别与各所述目标源 数据表的数据对应的目标生成数据表的数据。 8.根据权利要求7 所述的方法， 其特 征在于， 所述方法还 包括： 获取分布式消息系统在启动所述数据流处理程序后产生的增量数据， 将所述增量数据 作为所述目标源数据 表的目标数据， 以基于所述数据流处理程序生成与所述增量数据对应 的所述目标生成数据表中的结构化数据； 将所述目标生成数据表中的结构化数据存 储至数据湖存 储系统。 9.一种基于配置表的程序配置文件生成装置， 其特 征在于， 包括： 元数据确定模块， 用于确定源数据库中各源数据表对应的元 数据信息； 目标源表确定模块， 用于确定至少一个目标生成数据表的标识信息， 基于各所述标识 信息在各 所述源数据表中确定分别与各 所述目标生成数据表对应的各目标源数据表； 文件生成模块， 用于基于各所述目标源数据表对应的元数据信息生成配置表， 根据所 述配置表生成目标程序配置文件， 其中， 所述 目标程序配置文件用于将与各所述 目标生成 数据表对应的各目标源数据表的数据转 化为各所述目标生成数据表的数据。 10.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑8中任一项所述的 基于配置表的程序配置文件生成方法。权　利　要　求　书 2/2 页 3 CN 114816578 A 3