(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111636081.0 (22)申请日 2021.12.3 0 (71)申请人 世纪恒通科技股份有限公司 地址 550016 贵州省贵阳市贵阳国家高新 技术产业开发区中关村贵阳科技园核 心区南园科教街18 8号 (72)发明人 李建州　张硕　杨红　杨兴海　 杨兴荣　谭眉君　 (74)专利代理 机构 贵州启辰知识产权代理有限 公司 52108 代理人 葛歆玮 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/27(2019.01) G06F 16/28(2019.01)G06F 11/36(2006.01) G06K 9/62(2022.01) G06F 16/242(2019.01) G06F 16/22(2019.01) G06F 16/2458(2019.01) (54)发明名称 一种基于矩阵逻辑思想的大数据测试系统 及方法 (57)摘要 本发明公开了一种基于矩阵逻辑思想的大 数据测试系统及方法， 它包括大数据采集模块、 大数据处理模块、 大数据测试模块和大数据存储 模块， 各个模块之间相互通信连接； 在大数据的 ETL过程中进行三个测试阶段， 包括： 数据阶段验 证测试、 MapReduce阶段测试和输出数据阶段验 证测试， 并将大数据测试的数据同步至大数据存 储模块； 对 大数据测试的第三阶段输出阶段验证 进行测试， 完成数据的准确性、 唯一性、 完整性、 一致性、 关联性、 及时性等测试任务， 确保数据的 质量， 使数据更好的、 更准确的应用于业务上的 决策分析和推荐系统。 权利要求书2页 说明书7页 附图5页 CN 114281881 A 2022.04.05 CN 114281881 A 1.一种基于矩阵逻辑思想的大数据测试系统， 其特征在于： 它包括大数据采集模块、 大 数据处理模块、 大 数据测试模块和大 数据存储模块， 各个模块之间相互通信连接； 所述大数据采集模块用于从数据源中采集数据； 所述大数据处理模块用于对数据的ETL过程进行处 理； 所述大数据测试模块用于对数据的ETl过程进行测试； 所述大数据存储模块用于将大数据测试结束后并更改修复后的数据同步至目标数据 仓库的HIVE 。 2.根据权利要求1所述的基于传感器技术的全平台运维管理系统， 其特征在于： 所述数 据源包括传感器、 智能设备、 在线系统、 离线系统、 社 交网络和互联网平台； 所述的数据采集 方式包括数据库采集、 系统日志采集、 网络数据采集和感知设备 数据采集。 3.根据权利要求1所述的基于传感器技术的全平台运维管理系统， 其特征在于： 所述的 大数据处理模块包括对数据的提取、 转换、 载入的过程中进行在线处理， 在MapReduce处理 数据的过程中对数据进行清洗、 集成、 转换、 消减。 4.根据权利要求1所述的基于传感器技术的全平台运维管理系统， 其特征在于： 所述的 大数据测试模块包括三个测试阶段， 第一阶段： 数据阶段验证测试； 第二阶段： MapReduce阶 段测试； 第三阶段： 输出数据阶段验证测试， 并将大数据测试结束后并更改修复后的数据同 步至大数据存储模块。 5.一种基于矩阵逻辑思想的大 数据测试 方法， 其特 征在于， 包括以下步骤： S1、 在数据ETL过程中， 进行 大数据测试第一阶段： 数据阶段测试验证； S2、 在数据ETL过程中，  进行大数据测试第二阶段： MapReduce阶段测试验证； S3、 在数据ETL过程中，  进行大数据测试第三阶段： 输出数据阶段验证测试， 在进行上 述的MapReduce阶段测试验证后， 得到MapReduce过程后的结果， 将结果数据写入分布式文 件系统HDFS， 基于 HDFS作为底层支持中的这些 数据结果 生成高并发分布式数据库HBase； S4、 在分布式HBase中， 依据它的数据模型增强的系数排序映射表进行分类， 包括行关 键字或列关键 字或时间戳； S5、 在矩阵框架模型中， 依据分类的数量创建矩阵框架， 在矩阵框架中矩阵横向输入为 待测数据的用例。 6.根据权利要求5所述的基于矩阵逻辑思想的大数据测试方法， 其特征在于： 步骤S1 中， 第一阶段测试验证内容包括： 测试验证各方面的数据资源是否被正确的加载进Hadoop 系统中、 测试验证源数据与推送到Hadoop系统中的数据是否匹配、 测试验证正确的数据是 否被提取和 加载到正确的位置 。 7.根据权利要求5所述的基于矩阵逻辑思想的大数据测试方法， 其特征在于： 步骤S2 中， 第二阶段测试验证内容包括： 在MapReduce处理HDFS中的数据的期间， 在整个分布式设 备系统中， 测试验证单一节 点和多个节 点上MapReduce是否正常运行、 测试验证输出的文件 是否正确、 测试验证Map Reduce处理过程的键值key ‑value对是否正确生成、 测试验证在归 约Reduce 过程结束后数据的聚集 合并是否正确。 8.根据权利要求5所述的基于矩阵逻辑思想的大数据测试方法， 其特征在于： 步骤S5 中， 待测数据的用例包括数据的准确性、 唯一 性、 完整性、 一 致性、 关联性、 及时性。 9.根据权利要求5所述的基于矩阵逻辑思想的大数据测试方法， 其特征在于： 步骤S5权　利　要　求　书 1/2 页 2 CN 114281881 A 2中， 矩阵横向使用AdaBoost迭代算法为当前待测数据的用例创建弱分类器； 矩阵纵向使用 Bagging优化整合 算法， 纵向整合各分类的弱分类 器为强分类 器。 10.根据权利要求9所述的基于矩阵逻辑思想的大数据测试方法， 其特征在于： 所述的 弱分类器可判断当前分数数据下的横向输入的数据测试用例是否准确， 所述 强分类器可判 断当前分类数据下的所有横向输入数据测试的用例是否准确。权　利　要　求　书 2/2 页 3 CN 114281881 A 3