XX环保局 空气质量检测平台云计算平台解决方案49页.docx

XX环保局 空气质量检测平台云计算平台解决方案49页.docx

《XX环保局 空气质量检测平台云计算平台解决方案49页.docx》由会员分享，可在线阅读，更多相关《XX环保局 空气质量检测平台云计算平台解决方案49页.docx（41页珍藏版）》请在冰豆网上搜索。

XX环保局空气质量检测平台云计算平台解决方案49页

空气质量监测

云计算平台解决方案

修改记录

日期

版本

修改要点

修改者

注释

2013.05.06

1.0

初始版本

注：

版本升级时，要注明原因，和主要的更改内容。

空气质量检测平台方案

1．概述

南京云创存储的空气质量监测方案，是基于云计算的大气质量监测平台，前端通过特征因子监测设备和空气质量两套监测设备可以监测大气污染中的空气质量,pm10,SO2,NO2等大气中污染因子。

通过海量数据的科学数据分析对比得到主要的反映局部区域的相关参考值，从而和宏观上反映城市的整体的空气质量的监测站点的监测方式形成互补。

1.1背景

目前许多城市的环境监测中心站点较少，分布分散，环境监测的数据仅从宏观上反映城市的整体的空气质量，但是不能从微观上反映局部区域、特定区域的空气质量的好坏，这就需要建设更多的环境监测站点，提供更多的实时的环境监测数据。

国外一套空气质量环境监测仪器价格在10万美金，国产价格在10万人民币，价格昂贵。

建设更多的环境监测站点需要巨大的资金投入，成本太高。

而廉价的空气质量环境监测系统价格大约在1万人民币，能够解决资金投入问题，同时满足一定的测量精度，和现有的空气环境自动监测系统形成互补，为环保部门服务。

目前350米以下都有颗粒污染物，污染程度比较严重，加之信息化工作处于低端水平，以及公众对于空气质量的关注度不断提升，使得空气质量的监测重要性日益突出。

廉价的空气质量环境监测系统与目前的传统监测站点的监测方式形成互补，满足公众环境需求，提升政府形象。

1.2意义

部署空气质量环境监测系统，配合城市现有的环境监测站点，准确、及时、全面地反映环境质量现状及发展趋势，为环境管理、污染源控制、环境规划等提供科学依据，并结合天气状况、城市交通、人口密度、工业产值等元素，进行系统的研究，为保护环境，改善城市的大气环境质量改善起到技术支撑作用。

具体可归纳为:

（1）根据环境质量标准，评价环境质量。

（2）根据污染分布情况，追踪寻找污染源，为实现监督管理、控制污染提供依据。

（3）构建云计算海量数据处理平台，存储本区域海量数据，积累长期监测资料，为研究环境容量、实施总量控制、目标管理、预测预报环境质量提供数据。

（4）为保护人类健康、保护环境、合理使用自然资源、制订环境法规、标准、规划等服务。

1.3总体设计原则

针对本次工程的实际情况,充分考虑环保局环境监测云平台系统建设的建设发展需求，以实现系统统一管理、高效应用、平滑扩展为目标，以“先进、安全、成熟、开放、经济”为总体设计原则。

先进性原则

在系统总体方案设计时采用业界先进的方案和技术，以确保一定时间内不落后。

选择实用性强产品，模块化结构设计，既可满足当前的需要又可实现今后系统发展平滑扩展。

安全性原则

数据是业务系统核心应用的最终保障，不但要保证整套系统能够7X24运行，而且存储系统必须有高可用性，以保证应用系统对数据的随时存取。

同时配置安全的备份系统，对应用数据进行更加安全的数据保护，降低人为操作失误或病毒袭击给系统造成的数据丢失。

在进行系统设计时，充分考虑数据高可靠存储，采用高度可靠的软硬件容错设计，进行有效的安全访问控制，实现故障屏蔽、自动冗余重建等智能化安全可靠措施，提供统一的系统管理和监控平台，进行有效的故障定位、预警。

成熟性原则

为确保整个系统能够稳定工作，软件平台将使用先进、完善、易于管理和稳定可靠的云存储资源管理系统，对于与应用的集成接口，提供统一的通用稳定访问接口。

开放性原则

系统建设具有开放性的标准体系，提供开放的应用API编程接口，提供人性化的应用和管理界面，以满足用户需求。

遵循规范的通用接口标准，使全系统中的硬件、通信、软件、操作平台之间的互联共享。

充分考虑系统的升级和维护问题，维护采用在线式的，即在系统不停止工作的情况下，可以更换单元备件。

系统的维护和升级操作由系统管理员即可完成。

经济性原则

现有业务系统存储数据量较大，且数据的增长速度较快。

因此在建设系统存储架构时，应从长远的角度考虑，建设一个长期的存储架构，除了可以应对存储硬件设备的升级速度外，还必须考虑到对前期存储设备的投资保护，在保证不断提供功能和性能提高的同时，存储架构在较长的时间内能够保持相对稳定。

结合先进的云平台技术架构优势，根据本次项目建设的实际容量需求设计，同时充分考虑应用发展需求，实现系统可弹性在线平滑升级。

通过软件实现在较廉价普通服务器上实现高度容错，同时能够在较低冗余度的情况下实现高度可靠容错，大大节约和降低系统建设的硬件成本。

1.4系统特点

1、价格低廉，大规模部署

空气质量环境监测设备只有国际通用的几分之一，即可满足空气质量监测、数据传输功能，无需国外昂贵的监测设备，和现有的环境监测点形成有利互补，对空气质量数据发布有参考意义。

2、云计算海量数据处理技术

架构云计算海量数据处理平台，采用先进的云计算处理技术，对环境监测的数据入库和关联查询快速响应，支持自动容错和动态扩展，具有实时性、高可靠性、可伸缩性、高性价比等特点。

3.扩容性

空气质量监测前端设备可以根据需求进行增加设备，扩展整个系统的覆盖面积，但是不需要继续复杂的操作，可以动态的增加空气质量测试的节点，并能自动组网，具有很强的扩容性。

4.实时性

测定速度快，自动化程度高。

测试方法决定了测试的实时性，采集时间实现秒级响应，且采集时间可以任意设定，采集的数据实时入库，可实时查询。

5.采集数据的准确性

采集的数据经过精确的校准，且灵敏度很高，和环保部分发布的空气质量数据及趋势接近，数据真实有效。

2．系统设计

2.1总体架构

前端设备采集到相关的信息，通过GPRS进行无线数据传输，在有公网IP的服务器上进行数据接收和初步的处理，然后数据存入数据立方进行存储和计算，并且通过WEB服务器进行数据的最后处理和公布，通过web页面和移动终端可以实时的查看pm25实时和历史数据。

具体的系统总体架构详见下图。

图1空气质量云监控平台总体架构

2.2系统主要功能

空气质量监测云平台需要提供的主要功能描述如下。

（1）实时数据入库系统

实时数据入库系统主要负责全市所有空气质量监测点产生的各类空气因子数据实时存到空气质量监测平台数据存储中心。

（2）空气质量监测平台数据存储系统

原始空气质量数据，将全部存储在空气质量监测平台分布式文件系统，用于存储海量的非结构化数据。

为了满足和适应数据量、数据特征和查询处理的不同需求，部分存存储于关系型数据库中。

（3）空气质量监测平台数据查询分析应用系统

空气质量数据查询分析应用提供包括实时监控空气质量空气质量，查看历史记录和分析数据等功能。

空气质量历史查询处理时，由于空气质量数据量巨大，需要调度使用多台服务器节点进行并行处理。

（4）数据管理系统

在实际使用中，可能用户会对某一时间段或者类型的数据特别关心，就可以通过数据管理系统查询并导出这部分数据以供使用。

2.3技术优势

1.无线传感网络节点问间可进行长距离的传输，国內最多50m,Corssbow为150m.而我们在节点间无阻挡时理论距离为30000m,有阻挡为500～1000m,具有极高的性价比.

2.能耗低，国外同类产品发射电流消耗为20mA,我们可达仅为0.5mA;

3.节点数多，囯外一般150个,我们可以256个,还可扩充至1000个以上.

4.系统精度高，比同类产品高一个数量級；

5.安全系数高，由于我们提供了数据完整性的检查和鉴权功能，加密算法采用了＂AES-128”,即具有高度的保密性。

6.系统可靠性高，由于我们采用了碰撞避免机制，同时为需要固定带宽的通讯业务与留了专业时隙，避免了发射数据时的竞争和冲突，而且节点模块之间具有自动动态组网的功能，信息在整个网络中通过自由路由的方式进行传输，从而保证了信息的可靠性；

7.系统时延短，我们针对时延敏感的运用做了优化，通讯时延和从休眠状态激活的时延非常短。

2.4技术方案

1.监视和记录传感器的测试数据

系统记录下所有不同传感器的测试数据并保留在系统的服务器的数据库中。

服务器自带网站服务。

可以以网页的形式提供监视结果。

2.实时的数据传达和报警

单个的传感器的数据可用来设成触发点来触发手机短信的发送，email的发送。

3.随插随用的传感器和结点

每一个在网络中的结点可以插入多个不同种类的传感器，只要传感器的接口是标准的ESB（EnvironmentalSensorBus），无需任何改动，插入即可使用。

4.网络的可扩张性

只要加结点，网络就扩张。

结点间的结网是自动的。

结点间距在2公里内，就可以互相通讯。

5.太阳能电池的应用和电源

每个结点上都可以加上太阳能电池，配合内置的长寿可充电镍氢电池。

在无太阳能充电的极端环境下，结点还能保持三个月以上的正常工作周期。

在环境允许下，每个结点另可外接电源。

6.系统软件的高可靠性和大规模高速处理能力

海量的传感信号数据通过网络送到数据服务器的数据库。

处理系统，存储分析系统及显示服务系统的软件做相应的工作以满足用户需求。

3.前端采集设备

3.1前端架构设计

空气质量前端设备主要是由电源模块、采集模块和通信模块三大模块组成，前端采集设备内部架构具体详见图实际的空气质量监测设备详见图2。

图2前端设备的架构

3.2主要模块和功能

3.2.1传感器

我们将按其节点向所传输的距离，采用美国最新研制的微处理器及采用Zigbee等技术做无线传输，并将最新的系统集成技术，应用软件和网络传输，射频技术和底层软硬件控制技术相结和

通过该特征因子传感器可以监测大气中的环境监测的特征因子：

（1）硫化氢气体传感器

检测范围0—100ppm

最大测量限150ppm

灵敏度0.50±0.10uA/ppm

使用温度范围﹣20℃～+50℃

使用压力范围标准大气压±10﹪

响应时间（T90）≤30S

湿度范围15﹪—90﹪RH无凝结

零点漂移（﹣20℃～+40℃）≤0.2ppm

（2）氨气NH3传感器

标准工作条件10ppm-100ppmNH3

加热功耗小于900毫瓦

使用温度-20℃-50℃

储存温度-20℃-70℃

RH相对湿度小于95%RH

标准工作条件温度：

20℃±2℃Vc:

5V±0.1V

相对湿度：

65%±5%Vh:

5V±0.1V

（3）有机溶剂气体传感器

适宜于醇类、酮类、醛类、芳族化合物等有机溶剂的探测。

加热功耗小于900毫瓦

使用温度-20℃-50℃

储存温度-20℃-70℃

相对湿度小于95%RH

探测范围：

1ppm-100ppm苯

10ppm-100ppm甲苯

5ppm-100ppm甲醇

30ppm-300ppm酒精

10ppm-300ppm丙酮

1ppm-10ppm甲醛

注：

此传感器只测混和气体浓度。

不分别给出各组份的含量。

（4）可燃气体传感器

用于液化气，天然气，煤气的监测。

优良的抗乙醇，烟雾干扰能力。

加热功耗≤900mW

使用温度-10℃-50℃

储存温度-20℃-70℃

相对湿度小于95%Rh

探测范围：

300-5000ppm液化气，天然气，煤气。

标准工作温度：

20℃±2℃Vc:

5.0V±0.1V

标准工作相对湿度：

65%±5%Vh:

5.0V±0.1V

注：

此传感器只测混和气体浓度。

不分别给出各组份的含量。

3.2.2前端数据转换

通过传感器的检测颗粒，输出相关的PWM波，低电平的波形width是10ms-90ms，利用这个PWM波形来进行获取相关的参数，详见图8。

通过获取低电平的占空比，从而通过图9获取到对应的数值。

图8传感器的采样

图9传感器采样的曲线图

通过如下的计算，可以得到其中一个通道的采样值。

通道的LOWPluse的占空比设定为L，测试的采样值为P。

则：

如果获取到的L<0.08，则：

P=0.1*L*100*10（ug/m3）;

如果获取到的0.08=

P=（（（L*100–8）/6.5+0.8））*10（ug/m3）;

通过相关的采样，可以采样得到传感器的两个通道的值，一个通道是1um以上的粒子的值P1，另外一个通道是可以进行设置的，这里设置为可以检测2.5以上的粒子的值P2。

空气质量是指大气中直径小于或等于2.5微米的颗粒物，也称为可入肺颗粒物（暂无标准中文名）。

所以在这里要计算最终的采样值PL，需要进行如下的计算：

PL=P1-P2;

这里就可以计算出大气中直径小于或等于2.5微米的颗粒物。

3.2.3采集部分

虽然肉眼看不见空气中的颗粒物，但是颗粒物却能降低空气的能见度，使蓝天消失，天空变成灰蒙蒙的一片，这种天气就是灰霾天。

根据《2010年灰霾试点监测报告》，在灰霾天，空气质量的浓度明显比平时高，空气质量的浓度越高，能见度就越低。

虽然空气中不同大小的颗粒物均能降低能见度，不过相比于粗颗粒物，更为细小的空气质量降低能见度的能力更强。

能见度的降低其本质上是可见光的传播受到阻碍。

当颗粒物的直径和可见光的波长接近的时候，颗粒对光的散射消光能力最强。

可见光的波长在0.4-0.7微米之间，而粒径在这个尺寸附近的颗粒物正是空气质量的主要组成部分。

理论计算的数据也清楚地表明这一点：

粗颗粒的消光系数约为0.6平方米/克，而空气质量的消光系数则要大得多，在1.25-10平方米/克之间，其中空气质量的主要成分硫酸铵、硝酸铵和有机颗粒物的消光系数都在3左右，是粗颗粒的5倍。

所以，空气质量是灰霾天能见度降低的主要原因。

目前国内外环保部门监测空气质量普遍采用滤膜称重、β射线吸收和微量振荡天平等方法。

除了以上三种测试方法外，还有利用光散射的原理测定颗粒物浓度的方法。

该测定方法的原理是：

空气中的颗粒物浓度越高，对光的散射就越强。

测定光的散射后，就可以算出颗粒物浓度。

该测试方式测定速度快，自动化程度高，操作简单。

本次设备使用的是红外光散射法来进行测试相关的数据。

通过相关的探头来进行采集相关的数据。

通过采集的通道利用红外光散射来进行获取颗粒浓度。

采集空气的通道有固定的加热源，通过加热源来进行空间的动态的采集。

将相关的颗粒浓度转换成相关的数据通过无线通信进行数据传输。

3.2.4通信部分

前端设备的通信主要是通过GPRS进行数据的无线传输。

具体的数据传输的网络示意图详见图10。

图10GPRS数据传输

数据在前端设备基于TCP/IP协议，经过GPRS的数据传输，通过移动网络传输数据，利用公网的服务器接受数据，然后将数据入库后，进行数据的处理，最后通过WEB服务器将数据展现出来。

注意:

每个前端设备有一个供应商的SIM卡进行数据通信，该SIM卡需要有GPRS业务，同时使用的地点必须有供应商的信号。

例如使用中国移动的SIM卡，该卡需要有GPRS的业务，同时放置空气质量测试前端的地点需要有中国移动的信号才可以正常的通信。

3.2.5电源部分

供电方式有两种种，一种是锂电池和市电互补的供电方式，另一种是太阳能供电供电方式。

3.2.5.2太阳能供电

太阳能供电方式是基于太阳能进行可持续性的充电，从而避免了提供充电或者接入市电的情况。

太阳能供电是利用蓄电池和太阳能互补的方式进行供电，通过太阳能控制器来进行互补。

在太阳能供电不能满足供电需求的时候，利用蓄电池进行供电。

利用20W的太阳能板，在一定的环境中，可以满足设备的供电要求。

蓄电池的规格是12V电压，20Ah的规格，在完全没有太阳能的情况下，可以支持3*24h的无间断供电。

该供电方式同时提供电压监测功能。

具体的实物详见图12。

图12太阳能供电方式的前端设备实物图

3.2.5.1锂电池供电

锂电池供电方式是基于市电可以提供的情况下进行的。

如果部署的空气质量设备附近有市电，这样可以方便进行充电。

或者是市电和锂电池进行互补方式进行供电。

同时进行对电池进行电压监测，检测供电电压是否正常，电源供电是否正常。

锂电池是12V电压，50Ah的规格，可以在没有充电或者没有市电互补的情况下持续10*24h的供电。

具体的实物见图11。

图11锂电池供电方式的前端设备实物图

3.3部署安装方式

在城市的不同区域布局并有效使用空气质量的监测系统，从而能够比较全面地掌握城市不同区域，在不同时间段、不同气候特点（包括气温、风向、季节）下的空气质量的实时监测数据。

空气质量环境监测系统环境数据采集设备采用先进的传感器、低功耗单片机技术和网络通讯技术相结合，可提供方便的数据查询方式，直接通过浏览器可以直接访问测试数据。

目前环境监测站的监测设备一般部署在离地面高度20m-25m之间，而云创存储的空气质量环境监测系统环境监测设备根据实际的情况来进行部署。

设备小巧，部署方式灵活，可以部署在电线杆等公共设施上。

详细见图4。

图4部署在电线杆上前端设备

4.后端云监测平台

4.1项目需求

针对本次环保局主要是监测大气中的环境数据，要做到实时性强，数据量大，还有总能做到海量历史数据挖掘的可扩展性，监测数据主要存储结构化数据。

建设适合存储容量数据平台，

吞吐量需求

为满足现在多个监测终端实时上传数据的需要和应用整体吞吐带宽和高并发需要，确保数据访问流畅，系统需提供多用户或应用高并发访问、高吞吐带宽设计，系统能够有效利用各机器的物理资源，性能可通过规模增加实现平滑增长。

扩展性需求

未来根据空气质量监测平台业务应用的变化和发展，需要快速实施系统资源的升级，可以在业务服务不间断的状态下平滑扩展，不会导致架构发生根本性变化，为不断产生和变化的业务需求提供持续的支持，支持业务系统的快速整合和部署对核心系统基础架构的特别要求。

低成本需求

要求系统能够以低硬件成本、低维护成本实现高可靠高性能应用要求，充分提高资源利用率，简化管理，并能灵活、可持续扩展。

可维护性需求

要求系统具有自适应管理能力，安装、维护、升级简易方便，提供统一易用的WEB配置管理监控平台，实现智能化管理。

接口需求

要求能够提供通用的标准sql和编程接口，方便用户及应用系统访问，减少与应用集成或开发工作量，实现系统快速部署与集成。

4.2系统总体设计

系统平台总体架构图如下图所示

通过前端采集设备采集的空气特征参数可以将

4.3系统优势和特点

优异性能

云存储采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。

同时，云存储采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。

无限容量

可以出来海量的环境监测数据，可支撑的容量接近无限，经推算，理论容量为1024×1024×1024PB（1G个PB容量）。

在线伸缩

云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。

通用易用

云存储系统提供专用的API接口，供开发人员调用。

智能管理

提供基于WEB的管理控制平台，所有的管理工作均由数据立方一体机管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。

通过管理平台，可以对数据立方中的所有节点实行实时监控，用户通过监控界面可以清楚地了解到每一个节点的负载、存储和运行情况。

4.4系统组成架构

在本次云建设中，分布式文件系统属于基础平台支撑层，以用于数据集中存储和共享，实现对数据的统一管理和高效应用；分布式数据立方属于分布式数据库层，用于结构化和非结构化数据的高性能访问；分布式计算和Hive则基于云存储进行大规模的高性能的并发计算和数据的挖掘。

下面具体说明各系统的基本组成和主要功能。

1

4.4.1存储层基本组成

分布式文件系统分布式文件系统被设计为将海量文件存储在一个大集群的多台计算机上。

分布式文件系统将每一个文件以分块序列的形式进行存储，一个文件的所有分块除去最后一个分块外都是等大小的。

为了实现容错将文件分块进行自动复制。

文件分块的块大小和复制比例都是可以按照单个文件进行配置的。

分布式文件系统中的所有文件都是“只写一次”并且严格限定在任何时候只有一个写文件操作者。

分布式文件系统是云计算框架的分布式并行文件系统，是分布式计算的存储基石。

负责数据分布式存储及数据的管理，并能提供高吞吐量的数据访问。

分布式文件系统的基本特征如下：

（l）对于整个集群有单一的命名空间。

（2）文件会被分割成多个文件块，每个文件块被分配存储到数据节点上，而且根据配置会有复制的文件块来保证数据安全性。

（3）数据一致性。

适合一次写入多次读取的模型，客户端在成功创建文件之后，才能看到文件的存在。

（4）云计算，包括分布式文件系统，非常适合在廉价机器上的分布式存储和分布式处理。

它是容错的、可伸缩的、非常易于扩展。

并且，以简单性和适用性著称的分布式计算是云计算不可缺少的重要组成部分。

（5）分布式文件系统的默认配置适合于大多数安装的应用。

通常情况下，只有在一个非常大规模的集群上才需要修改默认配置。

（6）支持shell命令行风格的分布式文件系统目录交互。

（7）分布式文件系统是用java编写的，可广泛运行在多种软硬件平台上。

（8）分布式文件系统经常性地实现新的特性和改进。

（9）Namenode和DataNode都内建了Web服务器，可以方便地查看集群的状态。

分布式文件系统的体系框架是Master/Slave结构，一个典型的分布式文件系统通常由单个Namenode和多个DataNode组成。

Namenode是一个中心服务器，负责文件系统的名字空间的操作，比如打开、关闭、重命名文件或目录，它负责维护文件路径到数据块的映射，数据块到DataNode的映射，以及监控DataNode的心跳和维护数据块副本的个数。

集群中的DataNode一般是一个节点一个，负责管理它所在节点上的存储。

分布式文件系统暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。

从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组DataNode上。

DataNode负责处理文件系统客户端的读写请求。

在Namenode的统一调度下进行数据块的创建、删除和复制。

所有对目录树的更新和文件名和数据块关系的修改，都必须能够持久化，文件在分布式文件系统中存储图如图：

分布式文件系统结构

分布式文件系统涉及到Namenode、DataNode和客户端们之间的交互。

本质上，客户端与Namenode通讯是通过获取或者修改文件的元数据，与DataNode进行实际的I/O操作。

如图13所示，在分布式文件系统中有三个重要的角色：

Namenode、DataNode和Client，其中Client就是需要获取分布式文件系统文件的应用程序。

这里通过三个操作来说明他们之间的交互关系：

（l）文件写入。

首先Client向Namenode发起文件写入的请求，Namenode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。

Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。

（2）文件读取。

Client向Namenode发起文件读取