(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211361193.4 (22)申请日 2022.11.02 (71)申请人 广西壮族自治区公众信息产业有限 公司 地址 530105 广西壮 族自治区南宁市广西- 东盟经济技术开发区武华大道35号华 强科技孵化园1号综合楼310 -6室 (72)发明人 唐继哲　陆克伦　 (74)专利代理 机构 南宁深之意专利代理事务所 (特殊普通 合伙) 45123 专利代理师 黄南概 (51)Int.Cl. G06F 9/455(2006.01) G06F 9/48(2006.01) G06F 16/21(2019.01)G06F 16/215(2019.01) G06F 16/27(2019.01) (54)发明名称 一种基于集群Pod调度结合数据湖的数据优 化方法 (57)摘要 本发明公开了一种基于集群Pod调度结合数 据湖的数据优化方法， 包括以下步骤： S11、 搭建 分布式数据池和分布式集群并进行数据整理； S12、 进行类型数据池数据与Pod绑定及pod调度 过程中的数据分析和处理。 该方法主要是通过在 中央服务器部署中央初始数据池， 在分布式网络 各地方核心Node （节点） 部署中央初始数据池对 应的初始数据仓储罐收集地方的Pod数据， 针对 调度过来的Pod与调度前数据联合分析、 集群外 迁移进来数据与调度过来的Pod  2种情况进行分 析采用不同方法进行处理， 解决现有 k8s集群Pod 调度后数据分析效率不高， 非集群业务过渡到 Kubernetes时数据迁移工作量大的问题。 权利要求书2页 说明书5页 附图1页 CN 115509693 A 2022.12.23 CN 115509693 A 1.一种基于集群Pod调度结合数据湖的数据优化方法， 其特 征在于包括以下步骤： S11、 搭建分布式数据池和分布式集群并进行 数据整理； S12、 进行类型 数据池数据与Pod绑定和pod调度过程中的数据分析处 理及优化。 2.根据权利要求1所述的基于集群Pod调度结合数据湖的数据优化方法， 其特征在于： 所述步骤S11包括以下步骤： S111、 在中央服务器部署中央初始数据池和基于Kubernetes的中央集群， 所述中央集 群产生的数据存储在中央初始数据池； 同时创建对存储数据进行分类存储的多种类型数据 池， 并在各地方N ode创建用于存放当地pod产生的数据的对应的多种类型 数据仓储罐； S112、 在分布式网络各地方核心Node部署中央初始数据池对应的初始数据仓储罐收集 地方的Pod数据， 并进 行初步整理， 将其中的价值不大数据放入中央初始数据池分配出来的 杂物数据池， 其 余数据按照数据类型放入不同类型 数据池的数据仓储罐； S113、 将采集的物理设备及网络数据、 应用运算数据、 日志文本数据放入到中央初始数 据池， 同时捕捉到采集数据对应的元数据， 采集数据关联的元数据、 元过程数据、 和采集数 据与Pod关联的元数据及元过程数据三方关系映射为元数据标识一起传递给对应类型数据 池进行处 理。 3.根据权利要求2所述的基于集群Pod调度结合数据湖的数据优化方法， 其特征在于： 所述步骤S12 pod调度过程中的数据分析处 理包括两种pod数据分析情况， 具体为： S121、 当Pod调度到新Node， Pod产生新 的业务数据， 需要将Pod调度前和调度后的数据 进行分析时； S122、 当部分业 务没有整合到集群内， 集群外业 务数据需要与调度过来的Pod整合时。 4.根据权利要求3所述的基于集群Pod调度结合数据湖的数据优化方法， 其特征在于： 所述pod数据分析情况S121的处 理方法具体包括以下步骤： S1211、 分析收到的元 数据标识格式； S1212、 获取每条 数据关联的元 数据并进行统一声明； S1213、 对Pod调度前和调度后的数据进行跨数据池的分析及运 算。 5.根据权利要求3所述的基于集群Pod调度结合数据湖的数据优化方法， 其特征在于： 所述pod数据分析情况S12 2的处理方法具体包括以下步骤： S1221、 新建地方核心N ode部署的中央初始数据池 对应的特殊数据仓储罐； S1222、 将要整合的集群外业 务数据单独放入特殊数据仓储罐中， 得到特殊数据； S1223、 特殊数据与一起迁移过来的与Pod关联的元数据、 元过程数据及三方关系映射 为元数据标识。 6.根据权利要求5所述的基于集群Pod调度结合数据湖的数据优化方法， 其特征在于： 所述步骤S12数据优化具体为： 特殊数据仓储罐需要与各网络节点部署的三种类型数据池 存储的数据进行关联运算时， 通过二次插值技术来对特殊数据进行优化； 所述二次插值技 术具体为： 对不同节点采样不均匀的数据做差值处理， 再采用二次差值方法， 以每3个相邻 点做插值， 得到二次插值； 所述 二次插值公式为： 式中： x为分类对象的当前 数值， y为分类对象的3个相邻点， i 为序号。权　利　要　求　书 1/2 页 2 CN 115509693 A 27.根据权利要求6所述的基于集群Pod调度结合数据湖的数据优化方法， 其特征在于： 所述通过二次插值技术优化后的特殊数据与地方网络节点关联数据的元数据ID放在一个 数据集合运算。 8.根据权利要求2所述的基于集群Pod调度结合数据湖的数据优化方法， 其特征在于： 所述多种类型的数据池包括模拟信号数据池、 应用程序数据池、 文本数据池； 所述多种类型 数据仓储 罐包括模拟信号数据仓储罐、 应用程序数据仓储罐、 文本数据仓储罐； 所述三种类 型数据仓储罐对应并从属于三种类型数据池； 所述数据池由多个数据仓储罐组成， 每个数 据仓储罐对应一个集群的N ode。 9.根据权利要求8所述的基于集群Pod调度结合数据湖的数据优化方法， 其特征在于： 所述一个基于Kubernetes的集群包括Master、 N ode、 Pod。 10.根据权利要求9所述的基于集群Pod调度 结合数据湖的数据优化方法， 其特征在于： 所述采集数据对应的元数据包括对数据的记录、 索引、 键值以及不同数据属 性间关系的描 述； 所述元过程数据包括记录的日期、 地点、 责任人及其他附属信息； 所述元数据标识格式 为数值###元数据ID###元过程数据ID。权　利　要　求　书 2/2 页 3 CN 115509693 A 3