(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210783593.8 (22)申请日 2022.07.06 (71)申请人 中电万维信息技 术有限责任公司 地址 730000 甘肃省兰州市城关区张苏 滩 553号 （电信第二枢纽B区4-7层） (72)发明人 李振涛　陆飞　殷亚辉　杨婷玉　 任晓菲　 (74)专利代理 机构 兰州嘉诺知识产权代理事务 所(普通合伙) 62202 专利代理师 郭海 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/25(2019.01) G06F 9/54(2006.01) G06F 16/28(2019.01) (54)发明名称 一种基于大数据与数据库配合使用的数据 计算方法 (57)摘要 本发明属于数据处理技术领域， 涉及一种基 于大数据与数据库配合使用的数据计算方法。 本 发明提出的基于大数据与数据库配合使用的数 据计算方法解决了现有大数据环境中当 sparksql出现错误或者业务逻辑发生变动时， 不 能快速的新增、 删除、 更新、 调试优 化sparksql等 问题。 通过将业务使用的spark sql存入到 数据库 中， 在大数据环境中， spark程序调用数据库中的 sparksql进行计算数据， 开发人员不用将 sparksql推送到 大数据环境中， 在本地开发库中 就可以完成spark sql的新增、 删除、 更新等工作， 易于维护， 降低了专业技术人员的开发难度， 提 高了开发的速度。 权利要求书1页 说明书3页 附图1页 CN 115292337 A 2022.11.04 CN 115292337 A 1.基于大数据与数据库配合使用的数据计算方法， 其特征在于包括如下步骤： 将编写 spark程序打成程序包和调用spark程序包命令的shell脚本， 将程序包和shell脚本放入大 数据服务器目录中； 所述数据库分为Oracle和Mysql数据库； 大数据服务器目录中通过 shell脚本调用spark程序包， 在执行spark程序时， 调用数据库中的spar ksql脚本程序进行 计算数据， 并将计算的结果数据存 入的指定目录下。 2.根据权利要求1所述基于大数据与数据库配合使用的数据计算方法， 其特征在于所 述spark应用程序通过JDBC数据源与数据库进行 连接。 3.根据权利要求1所述基于大数据与数据库配合使用的数据计算方法， 其特征在于所 述sparksql脚本存放到数据库中。 4.根据权利要求1所述基于大数据与数据库配合使用的数据计算方法， 其特征在于所 述数据库为Oracle或Mysql的一种或几种。 5.根据权利要求1所述基于大数据与数据库配合使用的数据计算方法， 其特征在于所 述大数据服务器安装 对应的spark、 Hado op、 zookeeper、 hive、 yarn、 hdfs等中间件。权　利　要　求　书 1/1 页 2 CN 115292337 A 2一种基于大数据与数据库配合使用的数据计算方 法 技术领域 [0001]本发明属于数据处理技术领域， 涉及一种基于大数据与数据库配合使用的数据计 算方法。 背景技术 [0002]目前， 在大数据环境中使用sparksql计算数据时， 都是先将sparksql存入到本地 数据库的表中， 并在大数据环境中创建相 应的表， 该表的字段顺序结构必须与本地数据库 中表的结构 字段顺序一致， 接着使用工具将 本地数据库中存放spar ksql的数据 表推送到大 数据环境中， 然后在大数据环境中程序调用表 中每一个sparksql进行数据的计算， 或者将 sparksql脚本语句编写到spark 程序中， 然后在大 数据环境中调用程序进行 数据的计算。 [0003]这种大数据运行多个sparksql脚本语句时， 当sparksql出现错误或者业务逻辑发 生变动时， 只能先在本地数据库中调整或根据业务逻辑修改、 新增、 删除sparksql， 将调整 好的sparksql数据表再通过工具推送到大数据中， 或者直接修 改spark程序中的sparksql 脚本语句， 在将程序打包替换之前的程序包， 这将严重影响业务事故处理 时间， 对开 发人员 的实现具有挑战性、 具有一定的复杂性， 开发难度也比较大。 因此， 引进一些新方法来优化 大数据数据计算。 发明内容 [0004]为了克服上述现有技术中存在的问题， 本发明的目的是提供一种基于大数据与数 据库配合使用的数据计算方法， 解决了现有技 术中存在的问题。 [0005]基于现存的大数据环境计算数据方法， 不能快速的调整、 优化sparksql， 满足不了 由于业务逻辑需求变更快速根据业务逻辑调整spar ksql的业务需求， 导致研发进度缓慢 等 现有技术不足问题。 本发明引入新技术， 提供了一种基于大数据与数据库配合使用的数据 计算方法， 可以快速处 理上述问题； 本发明所采用如下的技 术方案： 基于大数据与数据库配合使用的数据计算方法， 包括如下步骤： 将编写spark程序 打成程序包和调用spark程序包命令的shell脚本， 将程序包和shell脚本放入大数据服务 器目录中； 所述数据库分为Oracle和Mysql数据库； 大数据服务器目录中通过shell脚本调 用spark程序包， 在执行spark程序时， 调用数据库中的sparksql脚本程序进行计算数据， 并 将计算的结果数据存 入的指定目录下。 [0006]进一步， 所述spark应用程序通过JDBC数据源与数据库进行 连接。 [0007]进一步， 所述sparksql脚本存放到数据库中。 [0008]进一步， 所述数据库为Oracle或Mysql的一种或几种。 [0009]进一步， 所述大数据服务器安装对应的spark、 Hadoop、 zookeeper、 hive、 yarn、 hdfs等中间件。 [0010]本发明的有益效果 为：说　明　书 1/3 页 3 CN 115292337 A 3