ICS 35.020 CCS L 70 34 安徽省地方标准 DB34/T 4853.3 —2024 农村供水管理系统 第3部分：数据加工 Rural water supply management system —Part 3：Data processing 2024 - 07 - 30 发布 2024 - 08 - 30 实施 安徽省市场监督管理局 发布 .DB34/T 4853.3 —2024 I 前言 本文件按照GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定 起草。 本文件是 DB34/T 4853 《农村供水管理系统》的第 3 部分。DB34/T 4853 已经发布了以下部分： —— 第 1 部分：数据元； —— 第 2 部分：数据采集； —— 第 3 部分：数据加工； —— 第 4 部分：数据存储； —— 第 5 部分：应用服务； —— 第 6 部分：运行维护。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由安徽省水利厅提出并归口。 本文件起草单位：安徽省（水利部淮河水利委员会）水利科学研究院（安徽省水利工程质量检测中 心站）、中水三立数据技术股份有限公司、安徽省农村饮水安全技术中心、安徽农业大学、安徽金海迪 尔信息技术有限责任公司、安徽省大禹水利工程科技有限公司。 本文件主要起草人：沈超、王跃国、刘怀利、廖丽霞、张成、杜运成、姚建国、李羊第、李家耀、 张啸天、郑锐、周婷、刘星宇、姚礼帮、孙靖堂、赵辉、邱丽媛、顾庆玮、李伟、吴霜、张国繁、葛梦瑶。 DB34/T 4853.3 —2024 1 农村供水管理系统 第 3 部分：数据加工 1 范围 本文件规定了农村供水管理系统数据的分类、 抽取、清洗、标准化转换、 入库以及数据安全与记录。 本文件适用于农村供水管理系统的数据加工。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。 其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T 20271 信息安全技术 信息系统通用安全技术要求 3 术语和定义 下列术语和定义适用于本文件。 3.1 前置数据库 pre database 采用主从复制技术实现的原始数据库的镜像数据库， 可用于向外界提供相关数据并确保原始数据库 数据安全。 4 流程 数据加工流程见图1。 DB34/T 4853.3 —2024 2 数据分析 数据抽取 数据清洗 错误数据修正 标准化转换 数据入库结果检验不通过 通 过异常数据处置 可修正的不可修正的 图1 数据加工流程 5 数据分类 待加工数据根据农村供水管理业务应用划分为基础数据、监测数据、业务数据、地理空间数据、5.1 外部共享数据五类。 应根据数据分类明确对应的数据加工路径、加工规则、加工目标数据库及相应库表信息。 5.2 采用系统或人工方式将不满足农村供水管理系统业务需求、不符合数据格式要求、元数据或相关5.3 资料描述不完整的、数据关系不明确的数据筛除。 6 数据抽取 应通过数据来源的前置库进行抽取。 6.1 每次数据抽取工作应至少记录抽取标志位、抽取时间、抽取来源、抽取数量、目标库表、抽取完6.2 成情况、操作人员；抽取操作中断时可通过抽取标志位、抽取时间确定抽取的数据。 数据传输应通过 https、TLSP 等协议进行安全加密传输。 6.3 首次抽取应采用全量抽取方式，非首次抽取宜采用增量抽取方式。 6.4 结构化数据宜采用直接读库方式抽取，半结构化和非结构化数据宜通过数据服务方式抽取。 6.5 7 数据清洗 清洗原则 7.1 7.1.1 准确性、完整性：应通过极大值、极小值、负值、空缺值、数据类型错误进行判定。 DB34/T 4853.3 —2024 3 7.1.2 符合性：结合农村供水管理业务应用规则和逻辑对数据准确性进行判定。 7.1.3 唯一性：通过主键或标志位检验等策略制定数据唯一性检验和去重规则。 清洗操作方法 7.2 7.2.1 根据业务需求将非结构化和半结构化数据（并非全部）转化为结构化数据。 7.2.2 删除或修改不一致的数据。 7.2.3 利用相关性分析方法消除冗余数据。 7.2.4 删除噪声数据。 7.2.5 删除业务数据中不符合应用规则或有逻辑错误的数据。 7.2.6 处理空缺值。 7.2.7 将过滤删除掉的数据存入问题数据库表。 结果检验 7.3 7.3.1 对清洗后数据对象的数据类型、数值、长度、格式以及数据内容的表述进行准确性检验。 7.3.2 应对每个数据字段内容的完整性进行检验。 7.3.3 应对清洗前后的数据量进行比对。 7.3.4 系统应建立异常反馈机制，将发现的异常数据及时反馈给原数据提供单位。 7.3.5 对检验过程中发现的错误数据进行修正。 8 标准化转换 转换规则 8.1 农村供水管理系统业务数据标准化转换规则见附录A。 检验 8.2 标准化转换后应对数据内容的完整性、准确性和合理性进行检验。 9 数据入库 标准化转换完成后数据应即时入目标数据库。 10 安全与记录 安全 10.1 数据加工安全应符合 GB/T 20271 规定。 记录 10.2 数据加工记录见表1。 DB34/T 4853.3 —2024 4 表1 数据加工记录 数据名称 数据类型 数据来源 数据流路径变 化记录 序号 数据变化前 数据变化后 变化原因 处理人员 处理时间 处理方法 登记人: 登记时间: