环保数据统一标准集约平台建设方案.docx

环保数据统一标准集约平台建设方案.docx

《环保数据统一标准集约平台建设方案.docx》由会员分享，可在线阅读，更多相关《环保数据统一标准集约平台建设方案.docx（12页珍藏版）》请在冰豆网上搜索。

环保数据统一标准集约平台建设方案

环保数据统一标准集约平台建设方案

数据统一标准集约平台是要建设一个集中统一的环境数据资源中心，中心将数据模型建设标准、数据交换的标准、信息输出的标准等在平台上建设制定及维护的环境。

环境数据资源云中心是集中管理环境业务部门数据的系统，它是在现有信息化建设基础上，根据统一规范、标准，整合和集成各种环境业务数如环境质量数据、污染源监管数据、安全防控数据、实验室监测数据、排污许可数据、总量控制数据、辐射信息数据、危废数据、信访数据、建设项目管理数据、地理数据、行政管理数据和基础支撑数据；经过分析、挖掘等处理，构建环境信息资源数据的存储中心、管理中心、共享服务中心和决策中心，创造一个环境信息资源的“云”。

集成后的平台可支撑海量环保管理数据，可提供污染源信息综合查询，为环境综合管理提供查询、统计、分析等服务，利用云计算模型实现各种信息的交流和共享、环境管理的决策和分析。

“该数据资源云中心”具有较高的安全性、稳定性和服务连续性，具有智能化的数据自容错与恢复功能。

图-数据规划管理

1.1设计思路

（1）梳理现有信息建立标准体系

依托环保行业内各系统提供的基础信息数据，结合国家相关标准梳理出资源目录体系。

（2）划分存储区域科学管理数据

针对各种业务数据，划分不同的数据存储区域，为环境业务系统提供数据存储管理的环境。

（3）数据实时交换资源分级授权

构建数据交换中心，以满足监管企业、环保各部门间、上下级单位和公众的数据共享交换。

（4）构建信息平台辅助政府决策

在海量数据基础上，构建面向主题的分析模型，提供多维数据分析，为领导决策提供支持。

1.2建设目标

◆数据集中统一管理和使用，有效支持业务发展需要；

◆确保全区环保数据的高质量和一致性，为统计分析提供有效保障；

◆以业务需求驱动数据架构的发展，数据架构具备可扩展性，能够适应业务未来发展对数据的需求；

◆提供对全区环保数据的标准化维护管理，提高对数据的维护管理水平；

◆数据架构和应用系统技术无关，数据架构可以适应未来技术的发展；

◆通过信息资源规划，制定行业数据标准，建立环保数据中心模型，实现数据环境的统一规划、统一设计与统一管控；

◆通过主题数据仓库的建设，提供实时、标准化的数据资源，支撑各类业务系统的数据应用，实现环保范围的数据集成，消除数据孤岛，初步构建环境数据云平台；

◆通过数据仓库的建设，实现实时指标监控、多维分析、业务报表、GIS等数据表现形式的整合，面向业务部门与领导提供综合分析应用；

◆通过元数据管理系统、数据质量管理系统的建设，并配套相关的制度，实现数据管控体系的建设；

1.3总体架构

图-数据资源中心总体架构

数据资源中心按照统一数据源接口标准，从业务系统数据源（在线监测、动态管控、安全防控、自行监测、移动执法等）中进行抽取、转换、加载，按照环保数据中心的不同应用需求，形成不同信息存储，并进行访问控制管理。

数据使用部分为各级领导、业务人员以及相关业务系统提供上层的各种应用，实现综合查询系统以及数据共享的需求。

1.4逻辑架构

逻辑架构如下图所示：

图-数据资源中心逻辑架构

（1）数据源和数据获取方式

数据源是指为数据中心提供数据的部分，具体包括：

环保部门的相关业务系统；

对于一些对安全性要求不高的业务系统如污染源信息发布、环保门户网站等，可直接采用ETL工具进行数据抽取；

对于一些对安全性要求较高的业务系统如自动监测、动态管控、安全防控等，需要通过WEB服务的方式获取数据；

（2）数据仓库

数据仓库是数据中心内的核心数据存储区域，它包含一个相对稳定的、企业级的数据仓库数据模型，支撑大部分应用。

这些数据按主题存放，数据粒度等同或粗于ODS，存放企业级的当前数据及历史信息，数据在线存储的周期通常比较长。

数据仓库中所存数据是基于主题域、高度集成、高质量的，按一定频率更新，保留时间窗比较长，并按需求建立一定粒度汇总的数据。

（3）OLAP分析和前端展现

一般来说，OLAP分析和前端展现包括如下内容：

统计报表：

通过报表工具实现预定义报表的自动生成和分发，并能够灵活的实现用户自定义报表的功能。

即席查询：

通常即席查询的功能会涉及准实时的业务信息，可以由ODS区提供此类应用，通过即席查询工具，不需要非常专业的SQL知识即可完成业务信息的即席查看。

OLAP分析：

利用OLAP分析工具，配合设计良好的OLAP数据模型，可以完成业务人员对业务的分析需求。

联机分析的手段包括各种图形和表格的表现，以及在其上进行的多维度的交叉分析，帮助用户快速定位和解决问题。

（4）数据挖掘

用户获取有用信息的能力体现了数据仓库系统的价值，通过数据挖掘，企业原是数据中的有用信息将被探测出来，可使用自动化或半自动化的工具进行分析。

数据挖掘应用根据专题的不同可采用自顶向下或自底向上的方法，分别适应假设验证和知识发现型的应用。

图-系统实现数据流图

1.5建设效果

图-建设效果

1.6建设内容

1）.数据整合集成

环境数据资源云中心是将零散、无序的数据进行有机整合，由于数据资料类型不同，来源不同，需首先收集整理归纳，然后进行数据的审核保证数据的准确性，在系统建成之后，需要将基础数据资源进行系统初始化。

无论基于哪种数据来源，必须保证数据的完整性和准确性。

（1）数据采集

与各业务科室系统及其它平台形成数据采集机制，对各业务科室、其它平台不同类型数据库可以接入到数据中心。

▪国发系统对接

中心应与国发系统进行无缝对接（如“十二五”环统系统、排污申报系统）将数据导入到其中，可直接获取重点企业相关信息，这些数据是准确的，由此可建立基础的企业信息台账。

▪已有数据

对已有的任何形式的存储数据都能够导入到云中心里来，如Excel表格导入、WORD导入、XML导入、数据库导入以及其它存储介质数据导入等方式，对于纸质数据等没有电子化的数据采取手工录入的方式。

▪环保业务内部数据共享

与各个环保系统进行数据对接，如在线监测、移动执法、实验室监测管理系统、自行监测等系统，进行数据共享。

▪外部数据

与安监局、公安局和消防局等部门建立数据交换，实现不同部门之间的协作和应急联动。

（2）数据抽取

对业务部门的数据按照一定的规则进行筛选和抽取。

通过ETL模块将源数据通过并行抽取的方式快速的导入到分布式数据集市中存储。

同时存储在数据集市的数据也可以通过并行的方式导出到关系型数据库中便于进一步的对数据进行分析处理。

（3）数据质量控制

从各业务部门采集共享数据后，对数据分类、过滤、转换、规整，对数据进行数据比对、冲突检测处理并入各级数据中心数据仓库或数据库。

（4）数据转换

建立业务部门数据与标准规范数据的转换映射关系和转换规则，将业务部门的数据转换为符合标准规范的数据。

（5）数据整理

对缓存数据库中的各业务部门数据进行比对、清洗，检查数据冲突，对数据进行审核校验。

确保数据一致性、完整性。

（6）数据交换

实现环保局业务科室与数据中心之间，其它系统与数据中心之间的数据交换业务，形成高效、安全、可靠、稳定的数据交换网络。

提供定时批量、实时按需的数据交换，提供点对点、一对多的数据交换支持，支持基础和共享数据的更新维护模式,对数据交换进行管理和监控。

2）.环境中心数据库

环境中心数据库包括各类主题的数据仓库和以及经梳理出的各类专题的数据集市。

A.数据仓库

环境中心数据库建立在政务中心服务器上，以数据仓库的形式表现，主要是管理环境数据资源，建立标准数据体系，形成统一的数据库体系，包括以下数据库：

（1）基础数据库：

整合各种环境相关的业务数据，统一为标准的数据结构。

（2）主题数据库：

针对各种业务系统划分不同的主题数据，如污染源台账主题、环境质量分析主题、污染源分析主题等，为业务系统提供数据存储管理的环境。

（3）空间数据库：

针对地理信息数据，建设空间数据库，实现对地理数据的存储与调用。

（4）元数据库，存储环境基础数据库与环境数据仓库的元数据，并提供各类元数据检索功能。

通过环境中心数据库的建设实现数据传输和信息共享的基础，满足环境保护局内部不同部门间的数据共享要求。

在环境数据中心数据库上，对环境数据进行高效智能挖掘，打破环保各业务系统之间的隔阂，优化环保信息资源结构，为各项环保业务提供一个统一的数据支撑基础平台。

切实提高各信息系统运作和各业务工作的效率，为领导决策提供信息支持，为企业和社会提供更好的数据服务，使环境监督管理由被动管理型向主动服务转变，由粗放定性型向集约定量型转变，由单一封闭管理向多元开放管理转变，最终实现对环境的“科学、严格、精细、长效”管理，最终提升环境管理的整体水平。

在建设过程中，通过数据查询/发布、资源目录、决策支持等数据应用、服务方式，将经过数据挖掘技术中心的整理、分析后的各类环境信息提供给局领导、各业务部门、社会公众及其他政府部门等具有不同数据需求的用户使用。

在中心数据库这一层汇集所有环境数据及业务数据库的数据结构，对其进行标准化建设，形成面向主题的环境中心数据仓库，建成环境中心数据库。

按照标准化后的环境中心数据库的需要，定期从基础数据库抽取数据。

B.数据集市

数据仓库中的各类数据通过整合梳理抽取，形成数据集市，包含各类业务主题数据库，为相关业务应用提供数据支持。

这些主题数据库包括：

（1）污染源数据

（2）自动监测数据

（3）人工监测数据

（4）建设项目数据

（5）环境监察数据

（6）总量减排数据

（7）多维分析数据

（8）环境应急数据

（9）环境信访数据

（10）环境质量数据

（11）生态文明数据

（12）环境统计数据

（13）污染防治数据

……

通过以上主题数据使数据资源中心至少能够提供2个典型应用：

（1）污染源生命周期管理

污染源生命周期包括污染源基本情况、环境管理基础设施、环境管理历史数据、环境监测实时数据、环保监督管理数据等。

通过这些主题数据形成污染源生命周期数据，为科室业务提供支撑。

（2）监察移动执法管理

结合污染源生命周期数据和执法数据，为监察移动执法系统提供数据支持。

3）.环境数据资源目录

由于环境信息资源数量多、门类广、分布分散、信息不对称的特性，发现和定位环境信息资源成了环境信息资源共享和开发利用过程的基本前提。

利用目录技术和元数据技术，以及其它网络技术，在网上构造一个统一的环境信息资源目录管理系统，明确信息从哪里获取，如何进行有效管理、如何向业务系统提供服务，解决信息源多头采集，重复采集，数据命名、类型、格式差异，数据不能及时同步更新，部门间的数据不一致，技术多样化等问题，形成数据生产、数据加工与管理，数据服务的清晰链条，使资源的使用者能够在任何时间，任何地点，通过特定的服务接口查询资源目录，使其能快速发现、定位和获取所需信息。

建立中心数据库资源目录和共享服务资源目录两套目录体系，具备可配置、可管理功能：

中心数据资源目录：

以目录形式展现公共基础库、业务成果库、主题数据库、前置交换库数据表，并能查询相关数据，在展现方式体现数据库域的概念和层次。

共享服务资源目录：

基于中心数据库资源目录在互联网、业务专网展现和对外（环保部、局属单位、区县环保局、其他机构、社会公众）共享数据资源。

4）.一厂一档管理

污染源一厂一档是建立环保部门关于污染源全生命周期档案的数据库信息系统，污染源基本信息管理贯穿从“环保建设项目管理”到污染源“死亡”的整个过程，动态跟踪记录其企业“基本属性信息”、“排污口信息”、“环保设施情况”、“监测设备”和“环境背景信息”等全面的管理信息。

污染源的全生命周期档案库将整个污染源产生之后的所有属性的改变，直至污染源的注销全过程中的相关信息，纳入到统一的污染源管理平台当中，健全企业污染源信息档案，全面掌握排污企业生产工艺、生产能力、主要污染源及其处理工艺等基本情况，实现污染源信息的全局共享和动态管理，为局领导和各个业务处室提供污染源的相关信息。

与已建设的环境监察系统数据实现整合、同步对接，并且与污染源在线监测监控系统、排污许可信息动态分析子系统等共享一套污染源信息。

主要包括信息台账管理、信息维护和基础信息查询功能。

5）.信息综合查询

依据所获取的数据资源，能提供强大的业务数据查询功能，包括对污染源基本信息、建设项目、排污申报、排污收费、稽查检查等一揽子相关信息的查询；对环境质量地表水、交界断面、饮用水源地、重点流域等监测数据的查询与展示；对全区环境空气、酸雨、噪声监测数据的查询与展示；对环境生态环境、功能区规划等结合地理信息系统进行查询展示；对固体废物信息、转移信息等进行查询；对区域环境容量、污染排放总量、减排情况等进行查询统计。

6）.综合决策与统计分析

实现对数据的综合决策分析，对各种专题数据进行统计分析，可将各类专题数据通过饼状图、柱状图、线图等的方式综合展示，给用户和领导一个宏观的环境视图，为宏观决策分析提供支持。

7）.前台门户智能展示

前台门户展示包括两大部分，一部分是感兴趣专题的展示，一部分是单点登录设置的快速通道。

其中感兴趣专题展示由各自环保局相关领导选择展示，如展示环境质量专题、污染源监测专题、环境统计专题、空气质量生态补偿、危险废物专题、机动车尾气专题、建设项目台账专题等，也可根据自己需要展示其它专题。

在各专题中选择对领导决策有用的统计报表进行直观展示，如污染源监测专题中显示的实时数据、历史数据、单站报表、两率报表、超标快报、超标统计以及排放统计等信息。

快速通道是采用单点登录、统一认证的手段通过权限分配实现，使得用户可以一点登录、多系统访问。

如数据中心中的快速通道，可以直接访问环保数据中心后台、总量控制和排污许可系统、污染源发布系统、在线监测系统、环保GIS综合应用系统、安全防控系统、动态管控系统以及环境门户网站等。

8）.后台数据管理及监控

数据管理及监控运行在系统后台，主要实现数据集成管理、数据共享与服务、数据质量控制以及系统管理等功能，具体包括以下内容。

（1）全文检索服务

针对数据中心存在的大量文本信息，给用户提供高效灵活的全文检索能力。

（2）高性能计算服务

利用分布式计算技术，搭建大数据的处理和分析平台，给用户提供海量数据的高性能分析计算能力。

（3）数据资源管理

包括资源目录管理、数据字典管理、数据编辑更新、数据规范管理等功能。

（4）数据标准规范

建设公共代码规范、污染源基础元数据规范、以及数据接口规范等，以便用统一的标准对外提供数据服务。