(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211042902.2 (22)申请日 2022.08.29 (71)申请人 北京麦聪软件 有限公司 地址 100080 北京市海淀区北四环西路68 号左岸公社132 2 (72)发明人 程志国　 (74)专利代理 机构 合肥上博知识产权代理事务 所(特殊普通 合伙) 3418 8 专利代理师 花锦涛 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/28(2019.01) (54)发明名称 基于SQL复杂计算的无限量数据下载方法和 系统 (57)摘要 本申请涉及数据存储和处理技术领域， 具体 涉及基于SQL复杂计算的无限量数据下载方法和 系统， 该方法包括获取所有的ResultSet中字段 的元数据， 将数据字段的序号和字段类型进行编 码； 基于CSV标准将编码完成的序号和字段类型 拆分重写和数据类型的格式转换操作， 生成CSV 行数据； 在JAVA中针对数据进行 强制内存回 收处 理， 以支持无限量的数据的下载。 本发明通过针 对复杂SQL计算结果支持无限量数据的下载， 让 用户对数据的下载使用变得没有边界， 用户可以 根据实际的业务需求来处理和下载数据， 不用在 数据下载的过程中考虑数据的实际情况， 更不需 要在针对人工智能等应用场景中大量使用开发 语言进行数据的导出工作， 极大地提升了企业的 效率和数据的安全性。 权利要求书2页 说明书9页 附图4页 CN 115470275 A 2022.12.13 CN 115470275 A 1.一种基于SQL复杂计算的无限量数据下载方法， 其特征在于， 应用于数据库、 数据平 台以及大 数据平台上， 所述方法包括以下步骤： 获取所有的ResultSet中字段的元 数据， 将数据字段的序号和字段类型进行编码； 基于CSV标准将编码完成的序号和字段类型拆分重写和数据类型的格式转换操作， 生 成CSV行数据； 在JAVA中针对数据进行强制内存回收处 理， 以支持无限量的数据的下 载。 2.根据权利要求1所述的基于SQL复杂计算的无限量数据下载方法， 其特征在于， 所述 基于SQL复杂计算的无限量数据下载方法， 基于JAVA的数据库或大数据平台实现， 以JDBC来 进行连接数据源， 以获得 数据源中的数据。 3.根据权利要求2所述的基于SQL复杂计算的无限量数据下载方法， 其特征在于， 数据 源中的数据获取后， 以ResultSet格式保存。 4.根据权利要求3所述的基于SQL复杂计算的无限量数据下载方法， 其特征在于， 数据 源对应的不同数据库 均支持JDBC标准。 5.根据权利要求4所述的基于SQL复杂计算的无限量数据下载方法， 其特征在于， 所有 的ResultSet 中字段的元数据后， 将字段的元数据进行编码， 转变成数字， 并将元数据的名 字和所述数字对应起 来。 6.根据权利要求1所述的基于SQL复杂计算的无限量数据下载方法， 其特征在于， 将数 据字段的序号和字段类型进行编码采用生成字段类型和数值的编 码器， 所述编 码器进行编 码的步骤如下： 生成字段类型和数值的编码器， 所述编码器覆盖所有的数据类型和数据库； 获取字段值列表和个数； 遍历字段值列表， 获取 各字段的类型； 通过比对把各字段类型代 表的整数放在Map中。 7.根据权利要求6所述的基于SQL复杂计算的无限量数据下载方法， 其特征在于， 所述 通过比对把各字段类型代 表的整数放在Map中， 包括： 通过比对把字段值类型放入一个Map中， 按序号存好序号和类型的Key:value键值对， 使数据字段的序号和类型 形成映射关系。 8.根据权利要求1所述的基于SQL复杂计算的无限量数据下载方法， 其特征在于， 基于 CSV标准将编码完成的序号和字段类型拆 分重写和数据类型的格式转换操作， 生成CSV行数 据， 包括： 进行CSV标准的拆分重写和数据类型的格式转换操作； 解读标准的文档； 根据标准的文档同时整合现有的数据类型的判断； 将不同的数据类型的数据拆分写入到 字符串的对象中。 9.根据权利要求1所述的基于SQL复杂计算的无限量数据下载方法， 其特征在于， 在 JAVA中针对数据进行强制内存回收处理时， 针对每次或每行的数据的处理完成后， 还包括 在JAVA中针对 数据进行强制内存回收的一些设置和设定， 并在JAVA运行器VM中使用内存回 收优先的回收器进行回收。 10.一种基于SQ L复杂计算的无限量数据下 载系统， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 115470275 A 2数据编码模块， 用于获取所有的ResultSet中字段的元数据， 将数据字段的序 号和字段 类型进行编码； 拆分重写模块， 用于基于CSV标准将编码完成的序号和字段类型拆分重写和数据类型 的格式转换操作， 生成CSV行 数据； 内存回收模块， 用于基于CSV标准将编码完成的序号和字段类型拆分重写和数据类型 的格式转换操作， 生成CSV行 数据。权　利　要　求　书 2/2 页 3 CN 115470275 A 3