系统推送转换后的标准数据后,实现数据自动入库;如果业务系统的功能根据标准接口改造,还可以实现在业务人员的正常业务办理过程中实时自动入库。
定期手工入库:对于人工监测数据,数据的采集部门、方式和格式不固定,需要制定中间格式数据标准,再由系统进行数据的检查和审核,以数据导入等方式将数据转入中心数据库。
数据录入:对于公共代码、污染源基本信息、环境质量测点、断面信息等,没有业务系统的支撑,可通过特定的数据录入表单来进行数据采集入库。
(三)环境质量数据集成方案
环境质量相关的数据从来源来说相对单纯,因此其数据集成主要有如下方式:
数据来源 手工监测数据 环境质量自动监测 环境监测历史数据 环境质量评价数据 数据集成方式 定期手工入库 自动入库 手动执行导入包+集成管理 自动计算生成+ETL管理 3.2.4.2 数据整合
污染源数据整合主要通过污染源数据整合工具实现。环境数据整合工具对导入的各类污染源数据进行整合,新进入的污染源数据匹配到系统中的标准污染源,或者成为系统中新的标准污染源。另外数据整合工具还对一企多源和污染源之间的上下级关联关系进行了设置。经过整合的污染源数据实现了污染源基本信息的唯一性同时又保留了与原始数据的关联性。
污染源匹配:对污染源进行两种操作,一是匹配到系统中的标准源,二是新增为新的标准源。可以按照关键字进行人工匹配或按照数据来源进行自动匹配,在匹配后系统自动检查形成问题标准源清单。具体功能包括关键字匹配、自动匹配、新增标准源和匹配质量校验四个模块。
41
污染源匹配结果:对污染源匹配工作结束后的结果进行统计和管理,即对已匹配的污染源或新增为标准源的污染源进行审核,审核不合格则进行取消操作。具体功能包括已匹配污染源和已新增标准源两个模块。
污染源合并:对标准源列表中的重复标准源进行合并,在合并时保留一个标准源,其余的重复标准源在合并后从标准源列表中删除。
企业关联:对拥有上下级关联企业或者多个污染源来源的企业,对他们的关联关系进行管理设置。
【图】污染源整合向导
污染源整合分为三个部分: (1)污染源档案数据初始化
污染源整合的第一步是确立环境数据资源中心标准的污染源档案信息,选择已经确定作为标准污染源的数据来源及初始化数据年份来完成污染源档案数据初始化。
(2)污染源匹配
在污染源匹配模块中进行污染源的匹配与新增操作,并对标准源通过去重的方式进行质量把控。
(3)污染源匹配结果
污染源匹配结果页面主要对污染源匹配操作的结果进行查询和再处理,包括已匹配污染源、已新增污染源、更新数据三个部分。
42
3.2.4.3 数据校验
1、数据库校核
数据库校核的主要规则包括:
? 边界检查:检查数据的取值范围或枚举值是否符合要求; ? 完整性检查:检查数据是否完整或必填(必选); ? 准确性检查:检查各类代码的准确性和数据的准确性; ? 一致性检查:检查不同来源的数据是否一致; ? 模糊匹配:通过模糊匹配辅助一致性检查; ? 逻辑性检查:检查数据在逻辑上是否合理; ? 类型检查:检查数据类型是否合理; ? 精度检查:检查数据精度是否符合要求; 数据审核示意图如下图所示:
2、数据质量校验
数据质量校验包括数据导入质量校验和数据整合质量校验两个部分,数据导入质量校验的工作过程是通过对原始业务库与环境数据资源中心库数据从污染源数量一致性、污染物排放量一致性、重点字段一致性等方面进行校验,保证数据从原库导入到环境数据资源中心库前后的一致性;数据整合质量校验的工作是
43
对经过污染源整合匹配后的数据进行质量校验,保证匹配数据的准确性,其中国发软件通过SQL脚本进行完整性校验。数据质量校验后生成数据质量校验报告,提交客户确认。
3.2.5 数据共享 3.2.5.1 数据交换服务
数据交换服务主要面向业务系统进行数据交换,建立规范的环境数据共享交换标准,进行数据配置和运行监控,实现各业务系统数据的采集,同时为环境质量监测、污染源监测监控、监察执法、行政处罚、环境应急、建设项目、固废监管、机动车排气污染监管、环保公共服务等系统提供数据交换服务,支撑环境业务系统建设。
(一)功能
数据交换服务提供数据配置、运行监控两类功能。 1、数据配置
创建交换业务、配置交换任务,进行源库、目标库连接配置、源库与环境数据资源中心目标库字段对应,实现数据同步。
2、运行监控
提供整个交换平台运行状态、每个任务运行状态、交换日志的查询。 (二)环保数据交换任务
主要面向已建业务系统进行数据集成,同时支持后续在建业务系统、新建业务系统的数据交换。
3.2.5.2 数据访问服务
数据访问服务建立了规范的环境数据共享交换标准,提供各业务数据集成到环境数据资源中心的标准数据内容和数据格式、数据集成方式、数据传输标准,实现单位内部各业务系统之间的数据交换与共享。
环境数据资源中心提供的数据访问服务按照数据内容分为公共代码共享服务、污染源基本信息共享服务、污染源档案页面的共享服务和污染源信息报表的共享服务。
通过企业服务总线(ESB)及对应适配器,环境数据中心可实现单位内部建
44