(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210654449.4 (22)申请日 2022.06.10 (71)申请人 苏州浪潮智能科技有限公司 地址 215100 江苏省苏州市吴中区吴中经 济开发区郭巷街道官浦路1号9幢 (72)发明人 张树鹏　 (74)专利代理 机构 济南诚智商标专利事务所有 限公司 3710 5 专利代理师 李修杰 (51)Int.Cl. G06F 16/2453(2019.01) G06F 16/2455(2019.01) (54)发明名称 一种基于人工智能平台进行数据处理的方 法及系统 (57)摘要 本申请公开了一种基于人工智能平台进行 数据处理的方法及系统， 该方法包括： 将AI平台 中监控数据和报表数据分开存储， 其次， 根据 influxdb 库的类型， 定义influxdb 库中原始数据 的存储策略； 然后利用连续查询机制， 将人工智 能平台中的历史数据生成降低采样频率后的数 据表； 最后根据所获取的数据查询指令， 按照数 据存储的时间确定相应的查询方式。 该系统包 括： 存储分离模块、 存储策略设置模块、 CQ降频采 样模块和查询方式确定模块。 通过本申请， 能够 节省空间资源， 提高数据查询效率和查询的稳定 性。 权利要求书2页 说明书7页 附图4页 CN 115062053 A 2022.09.16 CN 115062053 A 1.一种基于人工智能平台进行 数据处理的方法， 其特 征在于， 所述方法包括： 将人工智能平台 中的监控数据和报表数据采用不同的数据库分开存 储； 根据influxdb库的类型， 定义 influxdb库中原 始数据的存 储策略； 利用连续 查询机制， 将人工智能平台 中的历史数据生成降低采样频率后的数据表； 根据所获取的数据查询指令， 按照数据存储的时间确定相应的查询方式， 所述查询方 式包括： 通过原 始数据查询以及通过 所述数据表查询。 2.根据权利要求1所述的一种基于人工智能平台进行数据处理的方法， 其特征在于， 所 述将监控数据和报表数据采用不同的数据库分开存 储， 具体为： 将人工智能平台中用于存储报表数据的数据表从原telegraf库中剥离出来， 对报表数 据进行单独存储。 3.根据权利要求2所述的一种基于人工智能平台进行数据处理的方法， 其特征在于， 所 述将用于存储报表数据的数据表从原telegraf库中剥离出来， 对报表数据进行单独存储， 包括： 在influxdb库中创建report库， 所述report库中包含： 集群资源报表库report_ cluster、 机时统计报表库report_job_wp_stat、 节点统计报表库report _node、 资源组报表 库report_resource_group、 存储统计报表库report_storage_used以及任务统计报表库 report_train； 在人工智能平台集群底层的/var/lib/data/influxdb/data和/var/lib/data/ influxdb/wal目录下创建repor t目录； 将原telegraf库中报表相关的数据表存 储至repor t库中。 4.根据权利要求1所述的一种基于人工智能平台进行数据处理的方法， 其特征在于， 所 述根据influxdb库的类型， 定义 influxdb库中原 始数据的存 储策略， 包括： 判断influxdb库中原始数据的存储时间是否大于等于设定的持续时间， 其中， 设定的 持续时间根据i nfluxdb库的类型确定； 如果是， 对所述原 始数据进行删除； 如果否， 继续保留所述原 始数据。 5.根据权利要求1所述的一种基于人工智能平台进行数据处理的方法， 其特征在于， 所 述利用连续 查询机制， 将人工智能平台 中的历史数据生成降低采样频率后的数据表， 包括： 根据人工智能平台所部署集群的磁盘总量， 判断人工智能平台集群底层的/var/lib/ data/influxdb文件所占用的空间占所述磁 盘总量的比例是否大于等于设定的占比阈值； 如果是， 对历史数据启动低频率采集； 根据查询的时间范围， 设定 显示报表数据的i nterval间隔； 根据所设定的显示报表数据的interval间隔， 将所述历史数据定期生成低频率的采样 数据。 6.根据权利要求5所述的一种基于人工智能平台进行数据处理的方法， 其特征在于， 所 述设定的占比阈值 为5％。 7.根据权利要求1所述的一种基于人工智能平台进行数据处理的方法， 其特征在于， 所 述根据所获取的数据查询指令， 按照数据存 储的时间确定相应的查询方式， 包括： 判断待查询数据的存 储时间是否小于等于设定的存 储时间；权　利　要　求　书 1/2 页 2 CN 115062053 A 2如果待查询数据的存 储时间小于等于设定的存 储时间， 判定待查询数据为近期数据； 对所述近期数据采用原 始数据查询的方式； 如果待查询数据的存 储时间大于设定的存 储时间， 判定待查询数据为非近期数据； 对所述非近期数据采用数据表查询的方式。 8.一种基于人工智能平台进行 数据处理的系统， 其特 征在于， 所述系统包括： 存储分离模块， 用于将人工智能平台中的监控数据和报表数据采用不同的数据库分开 存储； 存储策略设置模块， 用于根据influxdb库的类型， 定义influxdb库中原始数据的存储 策略； CQ降频采样模块， 用于利用连续查询机制， 将人工智能平台中的历史数据生成降低采 样频率后的数据表； 查询方式确定模块， 用于根据所获取的数据查询指令， 按照数据存储的时间确定相应 的查询方式， 所述 查询方式包括： 通过原 始数据查询以及通过 所述数据表查询。 9.根据权利要求8所述的一种基于人工智能平台进行数据处理的系统， 其特征在于， 所 述CQ降频采样模块包括： 第一判断单元， 用于根据人工智能平台所部署集群的磁盘总量， 判断人工智能平台集 群底层的/var/lib/data/influxdb文件所占用的空间占所述磁盘总量的比例是否大于等 于设定的占比阈值， 如果是， 对历史数据启动低频率采集， 否则， 不启动低频率采集； interval间隔设定单元， 用于根据查询的时间范围， 设定显示报表数据的interval间 隔； 降频采样单元， 用于根据所设定的显示报表数据的interval间隔， 将所述历史数据定 期生成低频率的采样数据。 10.根据权利要求8所述的一种基于人工智能平台进行数据处理的系统， 其特征在于， 所述查询方式确定模块包括： 第二判断单元， 用于判断待查询数据的存储时间是否小于等于设定的存储时间， 如果 待查询数据的存储时间小于等于 设定的存储时间， 判定待查询数据为近期数据， 否则， 判定 待查询数据为非近期数据； 原始数据查询单元， 用于当待查询数据的存储时间小于等于设定的存储时间时， 对所 述近期数据采用原 始数据查询的方式； 数据表查询单元， 用于当待查询数据的存储时间大于设定的存储时间时， 对所述非近 期数据采用数据表查询的方式。权　利　要　求　书 2/2 页 3 CN 115062053 A 3