(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211322004.2 (22)申请日 2022.10.27 (71)申请人 西安启脉信息技 术有限公司 地址 710000 陕西省西安市雁塔区翠华路 1688号创客大街1909室 (72)发明人 张涛　冯坤　 (74)专利代理 机构 福州君诚知识产权代理有限 公司 35211 专利代理师 戴雨君 (51)Int.Cl. G06F 16/2457(2019.01) G06F 16/28(2019.01) G06F 16/2455(2019.01) G06F 16/215(2019.01) G06F 11/14(2006.01) (54)发明名称 一种数据筛分处 理系统 (57)摘要 本发明公开了一种数据筛分处理系统， 包括 数据获得单元、 数据筛分单元和数据存储单元， 所述数据获得单元用于从海量数据库中初步获 得数据， 再传输至数据筛选单元中， 被数据筛选 单元进一步筛选， 筛选后的数据则会传输至数据 存储单元进行存储、 备份和上传； 本发明通过设 计可定向收集数据的数据获得单元， 可以在数据 获得的初步阶段进行数据的定向收集， 避免在初 步阶段就获得较多的无用数据， 同时设计可对获 得数据进行标签和剔除的数据筛分单元， 对获得 数据进行二次筛分和剔除， 进一步进行数据的提 纯， 最后再通过具有最终分类存储功能的数据存 储单元对数据进行存储和上传， 可大幅度提高数 据的获得精度， 并且提高数据筛分的处 理效率。 权利要求书1页 说明书3页 附图1页 CN 115544103 A 2022.12.30 CN 115544103 A 1.一种数据筛分处理系统， 其特征在于： 包括数据获得单元、 数据筛分单元和数据存储 单元， 所述数据获得单元用于从海量数据库中初步获得数据， 再传输至数据筛选单元中， 被 数据筛选单元进一步筛选， 筛选后的数据则会传输 至数据存 储单元进行存 储、 备份和上传。 2.根据权利要求1所述的一种数据筛分处理系统， 其特征在于： 所述数据获得单元包括 数据需求确定模块、 数据需求归类模块、 数据定向收集模块、 初始数据预归类模块和数据缓 存模块， 首先通过数据需求确定模块确 立所要获得数据的具体需求， 然后再通过数据需求 归类模块对数据需求进行归类， 在海量数据库中通过 数据定向 收集模块定向 收集数据。 3.根据权利要求2所述的一种数据筛分处理系统， 其特征在于： 所述数据缓存模块与初 始数据预归类模块相连， 用于将预归类后的定向数据进行缓存。 4.根据权利要求1所述的一种数据筛分处理系统， 其特征在于： 所述数据筛分单元包括 筛分标签确立模块、 数据识别选定模块、 已标签数据集中模块、 未标签数据剔除模块和数据 日志备份模块， 先通过筛分标签确 立模块对筛分标签进行确 立， 然后通过数据识别选定模 块根据确立的标签对相符数据进 行确立和选定， 然后 将选定后的相符数据通过已标签数据 集中模块进行集中。 5.根据权利要求4所述的一种数据筛分处理系统， 其特征在于： 所述未标签数据剔除模 块设置在已标签数据集中模块之后， 可对没有标签的无用数据进行剔除。 6.根据权利要求5所述的一种数据筛分处理系统， 其特征在于： 所述数据日志备份模块 设置在整个数据筛分单 元的最后， 用于对数据的走向进行 备份。 7.根据权利要求1所述的一种数据筛分处理系统， 其特征在于： 所述数据存储单元包括 数据最终分类模块、 分类标签生成模块、 标签数据归类模块、 数据存储备份模块和数据上传 模块， 通过数据最终分类模块进行最终的分类， 分类时先通过分类标签生成模块生成分类 标签， 然后标签数据归类模块根据生成的分类标签对数据进行标签化的归类， 然后再通过 数据存储备份模块对分类后的数据进行存 储以及备份。 8.根据权利要求7所述的一种数据筛分处理系统， 其特征在于： 所述数据存储单元还包 括上传日志生成模块和上传日志存储模块， 所述上传日志生成模块会生成上传日志， 然后 将日志通过 上传日志存 储模块进行存 储。权　利　要　求　书 1/1 页 2 CN 115544103 A 2一种数据筛分处理系统 技术领域 [0001]本发明属于数据处 理技术领域， 具体涉及一种数据筛分处 理系统。 背景技术 [0002]随着各行各业对数据潜在价值的逐渐重视， 各个领域都会收集各种数据， 并处理 后提取数据中的一些价 值数据供使用， 而这 就离不开对数据的筛分和处 理； 而随着数据的海量化和复杂化问题逐渐加重， 如何有效的获得数据， 并对数据进 行进一步的筛分和处理， 已经是现阶段所要重视的问题了， 常规的数据筛分处理系统已经 无法满足， 特别是在如今大数据 环境下的海量数据中， 很难迅速的甄选出有价值的数据， 往 往都需要很多次的筛选处理才能获得一些价值数据， 且数据精准度也得不到保 障， 为此本 发明提出一种数据筛分处 理系统。 发明内容 [0003]本发明的目的在于提供一种数据筛分处理系统， 以更好的在海量数据中甄选出有 价值的数据。 [0004]为实现上述目的， 本 发明提供如下技术方案： 一种数据筛分处理系统， 包括数据获 得单元、 数据筛分单元和数据存储单元， 所述数据获得单元用于从海量数据库中初步获得 数据， 再传输至数据筛选单元中， 被数据筛选单元进一步筛选， 筛选后的数据则会传输至数 据存储单元进行存 储、 备份和上传。 [0005]优选的， 所述数据获得单元包括数据需求确定模块、 数据需求归类模块、 数据定向 收集模块、 初始数据预归类模块和数据缓存模块， 首先通过数据需求确定模块确 立所要获 得数据的具体需求， 然后再通过数据需求归类模块对数据需求进行归类， 在海量数据库中 通过数据定 向收集模块定 向收集数据， 所述数据缓存模块与初始数据预归类模块相连， 用 于将预归类后的定向数据进行缓存。 [0006]优选的， 所述数据筛分单元包括筛分标签确立模块、 数据识别选定模块、 已标签数 据集中模块、 未标签数据剔除模块和数据日志备份模块， 先通过筛分标签确 立模块对筛分 标签进行确 立， 然后通过数据识别选定模块根据确 立的标签对相符数据进行确 立和选定， 然后将选定后的相符数据通过已标签数据集中模块进 行集中， 所述未标签数据剔除模块设 置在已标签数据集中模块之后， 可对没有标签的无用数据进行剔除， 所述数据日志备份模 块设置在整个数据筛分单 元的最后， 用于对数据的走向进行 备份。 [0007]优选的， 所述数据 存储单元包括数据最终分类模块、 分类标签生成模块、 标签数据 归类模块、 数据存储 备份模块和数据上传 模块， 通过数据最 终分类模块进 行最终的分类， 分 类时先通过分类标签生 成模块生成分类标签， 然后标签数据归类模块根据生成的分类标签 对数据进 行标签化的归类， 然后再通过数据存储备份模块对分类后的数据进 行存储以及备 份， 所述数据存储单元还包括上传日志生成模块和上传日志存储模块， 所述上传日志生成 模块会生成上传日志， 然后将日志通过 上传日志存 储模块进行存 储。说　明　书 1/3 页 3 CN 115544103 A 3