PM25云监测平台方案Word文件下载.docx

1、4.2 PM2.5云监测云平台优势和特点 294.3 PM2.5云监测云平台组成架构 304.3.1PM2.5监测平台 304.3.2PM2.5预警平台 314.4.3 PM2.5污染传播过程实时演化与污染源追踪 314.4.4 PM2.5云监测云平台云存储 324.4.4 PM2.5云监测云平台Jobkeeper系统 364.4.5 PM2.5云监测云平台分布式数据立方系统 384.4.3 PM2.5云监测平台数据个性化服务 485 PM2.5云监测平台优势特点 505.1超大规模部署 505.2 在线监测实时性强 505.3 基于云平台的超强扩容性 505.4 PM2.5数据的高准确性 5

2、05.5 云计算海量数据处理 515.6平台科学管理 515.7实时数据推送 516 PM2.5云监测平台的意义 516.1 历史数据的实时查询 526.2 PM2.5污染源溯源 526.3 PM2.5污染预报 526.4 污染预警 527 成功案例 537.1 537.2 537.3 联想 531.概述1.1背景目前许多城市的空气质量监测站较少，目前空气污染已经严重危害人民生活健康。城市雾霾天气正是空气污染的典型表现，造成雾霾的主要原因是PM2.5的严重污染。云创存储的PM2.5云监测平台通过超大规模部署PM2.5监测节点对环境进行实时监测，通过云计算（数据立方）分析处理大规模的PM2.5监

3、测的数据，利用PM2.5监测和预警系统可以做到及时的污染预警，并且通过，APP等数据推送方式进行空气污染自动报警，及时做好污染防护，最大程度降低破坏空气环境的损害。通过海量历史数据智能分析，能够演化到PM2.5的污染过程，并且追溯污染源头，进而解决PM2.5污染源头，有效抑制污染源，保护空气环境。1.2平台设计原则针对实际情况,充分考虑空气环境监测云计算平台系统的建设发展需求，以实现系统统一管理、高效应用、平滑扩展为目标，以“先进、安全、成熟、开放、经济”为总体设计原则。1、先进性原则在系统总体方案设计时采用业界先进的云计算方案和技术，以确保一定时间不落后。选择实用性强产品，模块化结构设计，既

4、可满足当前需要又可实现今后系统发展平滑扩展。2、安全性原则数据是业务系统核心应用的最终保障，不但要保证整套系统能够7*24h正常运行，在进行系统设计时，充分考虑数据高可靠存储，采用高度可靠的软硬件容错设计，进行有效的安全访问控制，实现故障屏蔽、自动冗余重建等智能化安全可靠措施，提供统一的系统管理和监控平台，进行有效的故障定位、预警。3、成熟性原则为确保整个系统能够稳定工作，软件平台将使用先进、完善、易于管理和稳定可靠的云存储计算资源管理系统，对于与其他应用的集成接口，提供统一的通用稳定访问接口。4、开放性原则系统建设具有开放性的标准体系，提供开放的应用API编程接口，提供人性化的应用和管理界面

5、，以满足用户需求。遵循规的通用接口标准，使全系统中的硬件、通信、软件、操作平台之间的互联共享。在系统不停止工作的情况下，可以更换单元备件。系统的维护和升级操作由系统管理员即可完成。5、经济性原则现有业务系统存储数据量较大，且数据的增长速度较快。因此在建设系统存储架构时，应从长远的角度考虑，建设一个长期的云存储架构，除了可以应对存储硬件设备的升级速度外，还必须考虑到对前期存储设备的投资保护，在保证不断提供功能和性能提高的同时，存储架构在较长的时间能够保持相对稳定。结合先进的云平台技术架构优势，根据本次项目建设的实际容量需求设计，同时充分考虑应用发展需求，实现系统可弹性在线平滑升级。通过软件实现在

6、较廉价普通服务器上实现高度容错，同时能够在较低冗余度的情况下实现高度可靠容错，大大节约和降低系统建设的硬件成本。1.3平台系统意义基于云计算架构的PM2.5云监测平台，超大规模部署廉价的PM2.5云监测节点，配合城市现有的环境监测站点，准确、及时、全面地反映环境质量现状及发展趋势，为环境管理、污染源控制、环境规划等提供科学依据，并结合天气状况、城市交通、人口密度、工业产值等元素，进行系统的研究，为保护环境，改善城市的大气环境质量改善起到技术支撑作用。具体可归纳为: （1） 超大规模部署PM2.5云监测节点，改变传统的空气环境监测模式，使环境监测覆盖更密集。（2） PM2.5污染传播过程实时演化

7、与污染源追踪。根据海量监测数据进行PM2.5污染传播过程实时演化，追踪寻找污染源，为实现监督管理、控制污染提供依据。（3） 构建云计算海量数据处理平台，存储本区域海量数据，积累长期监测资料，为研究环境容量、实施总量控制、目标管理、预测预报环境质量提供数据。 （4） 基于云平台的PM2.5污染预警系统，反映小区域的PM2.5的情况，可以快速反映污染，及时做好防护。（5） 为保护人类健康、保护环境、合理使用自然资源、制订环境法规、标准、规划等服务。2.PM2.5云监测平台总体设计 2.1系统主要功能PM2.5云监测平台需要提供的主要功能描述如下。（1）超大规模的PM2.5云监测节点的部署超大规模的

8、PM2.5监测节点的部署，保证了PM2.5监测的大量的数据，能精确的获取PM2.5的详细信息。（2）实时数据入库系统实时数据入库系统主要负责全市所有PM2.5云监测节点产生数据实时存到PM2.5云监测平台数据存储中心。（3）数据存储系统原始PM2.5数据，将全部存储在PM2.5云监测平台分布式文件系统，用于存储海量的非结构化数据。为了满足和适应数据量、数据特征和查询处理的不同需求，部分存存储于关系型数据库中。（4）实时预警系统对PM2.5标准指标设置对应的域阀值，超过该值超过一分钟等就第一时通过，App推送，或者短信等形式通知行政执法人员，给管理部门迅速出动，及时阻止破坏环境保护的行为。（5）

9、数据查询分析应用系统PM2.5数据查询分析应用提供包括实时监控空气PM2.5，查看历史记录和分析数据等功能。PM2.5历史查询处理时，由于PM2.5的超大规模的部署，造成数据量巨大，需要调度使用云计算技术管理多台服务器节点进行并行处理。（6）数据下载系统在实际使用中，可能用户会对某一时间段或者类型的数据特别关心，就可以通过数据管理系统查询并导出这部分数据以供使用。（7）数据库系统设计在云计算平台中充分利用云计算系统与传统数据库结合方式建设，针对数据量比较小的用户信息等基础数据信息存放在传统数据库中，针对超大规模PM2.5云监测节点的实时量大，存放时间长，历史数据量大的PM2.5监控数据放在云架

10、构数据库数据立方中，基础数据库做为云计算数据库的补充以及数据转换的接口，前期历史沉淀量大，服务器压力大的PM2.5监控数据可以按照规则迁移到云计算数据库中。2.2技术优势云计算架构的PM2.5云监测平台技术优势：1.支持数以万计PM2.5云监测节点同时上报数据能够接受每天千亿记录级的海量数据。2.原始数据实时入库、生成索引能够对流量超过10000条/秒的全量原始监控数据流进行实时处理。3.数据管理规模达到十万亿记录级别云计算架构能够存储管理和处理十万亿记录级别的数据量，完成各种复杂业务应用计算和分析。4.秒级数据查询响应能力高效索引算法，智能化调度任务系统，满足秒级查询速度。5.实时业务处理与

11、预警能力高效实时数据通道，对于系统中实时监控、告警等实时业务，提供秒级响应时间。2.3技术方案2.3.1 平台架构通过超大规模部署PM2.5云监测节点，针对PM2.5监测建立PM2.5云监测平台。PM2.5云监测节点检测到PM2.5的相关信息，通过GPRS进行无线数据传输，传输到云平台，在数据接受服务器上进行数据接收、解析和预处理，将数据存入数据立方进行云存储和云计算，并且通过WEB服务器进行数据的最后处理和公布，通过web页面和移动终端可以实时的查看所有PM2.5云监测节点的PM2.5的实时情况和历史数据，以及PM2.5污染的演化过程。具体的系统总体架构详见下图1。图1 PM2.5云监测平台

12、总体架构2.3.2 技术路线详细的技术线路图详见图2。图2 PM2.5云监测平台技术线路图3 可超大规模部署的PM2.5云监测节点设计3.1 PM2.5云监测节点系统架构PM2.5 云监测节点是由设备箱、传感器、主控板、电源和无线通信平台组成。传感器将采集到的电信号，通过线材传输给主控板，主控板进行信号解析、算法分析和数据量化后，把数据通过无线通信方式（GPRS）传输到云平台。PM2.5云监测节点可以大规模部署，每个节点均可以将采集到的数据传输到云平台进行处理。具体的架构详见图3。图3 PM2.5云监控平台架构PM2.5云监测节点从功能上来说，是由电源模块、采集模块和通信模块组成，PM2.5云

13、监测节点部架构具体详见图4。实际的PM2.5监测节点详见图5。图4PM2.5云监测节点的架构图5PM2.5云监测节点实物图3.2 PM2.5云监测节点传感器3.2.1 PM2.5采集方法虽然肉眼看不见空气中的颗粒物，但是颗粒物却能降低空气的能见度，使消失，天空变成灰蒙蒙的一片，这种天气就是灰霾天。根据2013年灰霾试点监测报告，在灰霾天，PM2.5的浓度明显比平时高，PM2.5的浓度越高，能见度就越低。虽然空气中不同大小的颗粒物均能降低能见度，不过相比于粗颗粒物，更为细小的PM2.5降低能见度的能力更强。能见度的降低其本质上是可见光的传播受到阻碍。当颗粒物的直径和可见光的波长接近的时候，颗粒对

14、光的散射消光能力最强。可见光的波长在0.4-0.7微米之间，而粒径在这个尺寸附近的颗粒物正是PM2.5的主要组成部分。理论计算的数据也清楚地表明这一点：粗颗粒的消光系数约为0.6平方米/克，而PM2.5的消光系数则要大得多，在1.25-10平方米/克之间，其中PM2.5的主要成分硫酸铵、硝酸铵和有机颗粒物的消光系数都在3左右，是粗颗粒的5倍。所以，PM2.5是灰霾天能见度降低的主要原因。目前国外环保部门监测PM2.5普遍采用射线吸收和微量振荡天平等方法。除了以上两种自动测试方法外，还有利用光散射的原理测定颗粒物浓度的方法。该测定方法的原理是：空气中的颗粒物浓度越高，对光的散射就越强。测定光的散

15、射后，就可以算出颗粒物浓度。该测试方式测定速度快，自动化程度高，操作简单。本次设备使用的是红外光散射法来进行测试相关的数据。通过相关的探头来进行采集相关的数据。通过采集的通道利用红外光散射来进行获取颗粒浓度。采集空气的通道有固定的加热源，通过加热源来进行空间的动态的采集。将相关的颗粒浓度转换成相关的数据通过无线通信进行数据传输。3.2.2 PM2.5传感器PM2.5传感器实物图详见图6。图6 PM2.5传感器1、传感器规格 尺寸：（长）59mm（宽）45mm（高）22mm； 重量：24g； 正常工作电压：DC 5V10% （CN1:Pin1=GND Pin3=5V） 脉冲电压 30mV以下；

16、正常工作电流：90mA； 检测粒子直径：1m以上； 检测围：30立方米； 输出方式：脉冲电压 周期30秒 最高值4.5V 最低值0.7V； 启动时间：电源接通后 约1分钟（电阻温度稳定时间）；2、传感器的特点PWM脉宽调制输出；采用粒子计数原理；可灵敏检测直径1微米以上的粒子；置加热器可实现自动吸入空气；小尺寸重量轻；易安装使用。3、传感器的原理传感器的原理结构图详见图7.图7 传感器的原理结构图模块置一个加热器，热引起上升气流使外部空气流进模块部。空气通过检测通道，利用光的原理、通过光和透镜以及处理模块来进行检测。具体的检测方法和通道如图8所示。图8 传感器的检测另外，传感器的透镜需要视环境

17、状况隔一段时间进行清洁，约 6 个月一次。清洁时用棉签一头醮清水轻擦，然后用另一头擦干。不可以用酒精等有机溶剂擦拭透镜。3.3 PM2.5云监测节点主控板3.3.1 主控板图9 PM2.5云监测节点主控板PM2.5云监测节点主控板主要是用来采集PM2.5传感器的信号，进行信号解析、算法分析和数据量化，将PM2.5的数据发送到云平台上。PM2.5云监测主控板详见图9。1、利用PWM波进行对 PM2.5采样，计算；2、通过GPRS无线发送数据到云平台；3、输入电源是12V直流电源；4、使用温度围：-2570；3.3.2 计算部分通过传感器的检测颗粒，输出相关的PWM波，低电平的波形width是10

18、ms-90ms，利用这个PWM波形来进行获取相关的参数，详见图10。通过获取低电平的占空比，从而通过图11获取到对应的数值。图10传感器的采样图11 传感器采样的曲线图 通过如下的计算，可以得到其中一个通道的采样值。 通道的LOW Pluse的占空比设定为L，测试的采样值为P。则：如果获取到的L 0.08，则： P=0.1*L*100*10（ug/m3）;如果获取到的0.08= L 0.15，则： P=（ （L*1008）/6.5 + 0.8）*10（ ug/m3）; 通过相关的采样，可以采样得到传感器的两个通道的值，一个通道是1um以上的粒子的值P1，另外一个通道是可以进行设置的，这里设置为

19、可以检测2.5以上的粒子的值P2。 PM2.5是指大气中直径小于或等于2.5微米的颗粒物，也称为可入肺颗粒物（暂无标准中文名）。所以在这里要计算最终的采样值PL，需要进行如下的计算： PL = P1 - P2; 这里就可以计算出大气中直径小于或等于2.5微米的颗粒物。3.3.3 通信部分PM2.5云监测节点的通信主要是通过GPRS进行数据的无线传输。具体的数据传输的网络示意图详见图12。图12 GPRS数据传输PM2.5云监测节点将才采集的数据通过TCP/IP协议的封包，利用GPRS通过移动基站进行无线传输，数据进入Internet网络后，在云平台上把数据在服务器上提取出来，解析后将数据入库，

20、进行数据的处理，最后通过WEB服务器或者APP等方式将数据展现出来。注意:每个PM2.5云监测节点必须有运营商的SIM卡进行数据通信，该SIM卡需要有GPRS业务，同时使用的地点必须有运营商的信号。例如使用中国移动的SIM卡，该卡需要有GPRS的业务，同时放置PM2.5云监测节点的地点需要有中国移动的信号才可以正常的通信。3.4 PM2.5云监测节点的供电供电方式有两种，一种是太阳能供电方式，一种是市电供电方式。示意图详见图13。图13 PM2.5云监测节点供电方式3.4.1太阳能供电太阳能供电方式是基于太阳能进行可持续性的充电，从而避免了提供充电或者接入市电的情况。太阳能供电是利用太阳能储能

21、电池和太阳能电池通过太阳能控制器进行有效的电源输出方式进行供电。太阳能储能电池有蓄电、供电的功能，太阳能电池主要是用来吸收光源进行产生电并且储存在太阳能储能电池。通过太阳能控制器，可以保护太阳能储能电池。利用两块40W的太阳能电池和一个封装在地埋箱的80Ah的太阳能储能电池，可以在一定的环境中，可以满足设备的供电要求。太阳能储能电池的规格是12V电压，80Ah的规格，在完全没有太阳能的情况下，可以支持10*24h的无间断供电。具体的实物详见图14。图14 太阳能供电方式3.4.2 市电供电在PM2.5部署的主要的区域，可以利用市电直接接入PM2.5云监测节点，通过220V交流电输入供电。3.5

22、 PM2.5云监测节点的结构和安装部署3.5.1 PM2.5云监测节点的结构PM2.5云监测节点的设备箱体大小为300*400*150。具体详见图15。图15 PM2.5云监测节点箱体结构3.5.2 PM2.5云监测节点的安装部署在城市的不同区域部署PM2.5云监测节点，并且有效使用PM2.5云监测平台，能够比较全面地掌握城市不同区域，在不同时间段、不同气候特点（包括气温、风向、季节）下的 PM2.5 的实时监测数据。 目前环境监测站的监测设备一般部署在离地面高度20m-25m之间，而云创存储的PM2.5环境监测系统环境监测设备根据实际的情况来进行部署。设备小巧，部署方式灵活，可以部署在立杆上

23、或者是墙壁上等公共设施上。详细见图16。图16 PM2.5云监测节点部署方式3.5.2.1 立柱安装方式PM2.5云监测节点立柱安装方式图详见图17和图18。图17 PM2.5立柱安装方式正面图太阳能电池板PM2.5设备箱蓄电池地埋箱图18 PM2.5立柱安装方式背面图M10固定螺栓?太阳能板支架半圆型抱箍注：抱箍大小需根据安装立柱的直径调整。3.5.2.2 墙壁安装方式PM2.5云监测节点墙壁安装方式图详见图19和图20。图19 PM2.5墙壁安装方式正面图挂壁板图20 PM2.5立柱安装方式侧面图M10膨胀螺栓4 PM2.5云监测云平台设计4.1 PM2.5云监测云平台总体架构PM2.5云

24、监测云平台总体架构详见图30。 图30系统总体物理架构图PM2.5云监测节点检测到PM2.5的相关信息，通过GPRS进行无线数据传输，传输到云平台，在数据接受服务器上进行数据接收、解析和预处理，将数据存入数据立方进行云存储和云计算，并且通过WEB服务器进行数据的最后处理和公布，通过web页面和移动终端可以实时的查看所有PM2.5云监测节点的PM2.5的实时情况和历史数据，以及PM2.5污染的演化过程，为客户科学分析环境污染趋势，为决策制和行政执法人员最好环境保护的信息化技术支持工作。4.2 PM2.5云监测云平台优势和特点1、优异性能云存储采用控制流与数据流分离的技术，数据的存储或读取实际上是

25、与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。同时，云存储采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。2、无限容量可以出来海量的环境监测数据，可支撑的容量接近无限，经推算，理论容量为102410241024 PB （1G个PB容量）。3、在线伸缩云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。4、通用易用云存储系统提供专用的API接

26、口，供开发人员调用。5、智能管理提供基于WEB的管理控制平台，所有的管理工作均由数据立方一体机管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对数据立方中的所有节点实行实时监控，用户通过监控界面可以清楚地了解到每一个节点的负载、存储和运行情况。4.3 PM2.5云监测云平台组成架构本系统主要有PM2.5监测平台，PM2.5预警系统，云存储系统，PM2.5污染传播过程实时演化和污染源追踪，面向 Jobkeeper分布式调度，分布式数据立方系统和PM2.5数据个性化服务等组成。在本次云建设中，分布式文件系统属于基础平台支撑层，以用于数据集中存储和共享，实现对数据

27、的统一管理和高效应用；分布式数据立方属于分布式数据库层，用于结构化和非结构化数据的高性能访问；分布式计算和Hive则基于云存储进行大规模的高性能的并发计算和数据的挖掘。下面具体说明各系统的基本组成和主要功能。4.3.1PM2.5监测平台PM2.5监测及预警系统软件平台完全基于B/S结构设计，为管理人员提供完善的操作平台，同时，为其他普通人员定制基于B/S结构的浏览模块。系统通过权限访问，提高系统运行的安全性。系统可实时、准确、高效地监测PM2.5状况，并对数据整编入库、分析处理，形成结果，供决策人员使用。超大规模的部署PM2.5云监测节点，通过GPRS等方式传输到云平台后到达PM2.5监测平台

28、，数据直接通过云计算技术的监测技术直接入库，作为PM2.5数据直接存放起来，为以后环境质量数据，以及后期环境质量的趋势分析做详实准确的数据基础。主要包括PM2.5数据入库模块，PM2.5数据分析模块，海量数据分析模块，同时结合地理信息针对环境污染位置明确责任，建立绩效考核机制最大围提高环境执法人员的工作能动性。4.3.2PM2.5预警平台作为PM2.5监测平台的有效补充，PM2.5预警平台承担着更多实时执法提供更多及时的有效的信息化支持。预警系统的运行是根据PM2.5监测数据及数据处理平台形成的结果，当数据达到设定报警值时，预警系统会自动启动，决定预警级别及围。并根据系统设定，启动报警通过，A

29、PP推送或者是短信等方式直接发送给相关人员。PM2.5预警平台WEB页面详见图31。该图只能静态展示相关的页面，动态的效果需要实时演示。图31 PM2.5预警平台静态图4.4.3 PM2.5污染传播过程实时演化与污染源追踪基于数据立方的云平台，可以完全进行海量历史数据分析，从而可以根据实时的海量数据推演PM2.5污染传播过程，进行PM2.5污染过程演化。超大规模部署PM2.5云监测节点，可以完全从大面积围和局部区域定位PM2.5污染源的扩散点，进行定位PM2.5污染源，从监测污染、定位污染到找到污染原因并且治理污染。形成一整套的PM2.5监测和治理方案。PM2.5污染传播过程实时演化详见图32。图32 PM2.5污染传播过程实时演化4.4.4 PM2.5云监测云平台云存储分布式文件系统被设计为将海量文件存储在一个大集群的多台计算机