实时位置数据集成与分析处理解决方案.docx
《实时位置数据集成与分析处理解决方案.docx》由会员分享，可在线阅读，更多相关《实时位置数据集成与分析处理解决方案.docx（21页珍藏版）》请在冰豆网上搜索。
实时位置数据集成与分析处理解决方案
文档编号：
_____________________
版本号：
_____________________
范围：
□内部
实时GIS解决方案
2013年7月
易智瑞（中国）信息技术有限公司
——制定及修订记录——
版本
修订时间
修订人
修订类型
修订章节
修订内容
V1.0
2013.7.19
伏伟伟
A
全部
*修订类型分为A-ADDEDM-MODIFIEDD–DELETED
注：
对该文件内容增加、删除或修改均需填写此记录，详细记载变更信息，以保证其可追溯性。
1前言
2013年8月5日，住房和城乡建设部公布2013年度国家智慧城市试点名单，确定103个城市（区、县、镇）为2013年度国家智慧城市试点，至此住建部确定的试点已达193个。
智慧城市正在紧锣密鼓的建设中，而支撑智慧城市其中一项非常重要的技术手段是物联网。
2013年，国务院发布了《国务院关于推进物联网有序健康发展的指导意见》，为我国物联网发展指明了方向。
经过几年的技术和市场培育，加之我国在物联网领域的自主创新能力不断增强，可以预见物联网即将进入高速发展期。
预计到2015年的时候，全球与互联网相连的物体将达60亿件。
物联网技术的核心和基础依然是互联网技术，是在互联网技术基础上的延伸和扩展的一种网络技术，它是通过网络及各类感应设备来实现物与物、物与人之间的信息交换和通讯。
通过物联网技术可以收集物联网节点的各种信息，从而对环境、事物、过程等进行全实时、可视化的监控和管理，各领域的用户可以借助这一技术实现从信息化向智能化的转变。
物联网的核心理念在于感、传、知、控，进而实现人与人、人与物、物与物之间的有机联系。
作为这种联系的基础，位置或者地理信息是其重要的组成部分。
采用物联网技术，把各类感应设备嵌入和装备到与空间地理位置相关的城市部件（摄像头、路灯、电杆等）、建筑物、铁路、桥梁、隧道、公路、大坝、管道（石油、给排水）、电网等各种设施中，利用互联网及移动通信等网络技术，再结合地理信息可视化及信息集成方式，把此类与空间位置相关的感应设备及其感应信息映射在电子地图上，实现物联网与地理信息的集成与整合，建立可视化的物联网实时GIS原型系统。
那么面对纷繁浩杂的传感设备，如何方便快捷的接入这些设备产生的实时数据，并对其在地图上进行可视化的监控、分析并智能化为人为决策提供支持，是当前用户所面临的亟需解决的问题。
基于此需求，我们需要结合一些新技术，提供一个全新的实时GIS解决方案，用于对物联网实时数据进行收集与共享，对实时数据进行可视化、分析，最终辅助用户进行即时科学决策。
2物联网及技术体系简介
物联网即The Internet of Things，是通过射频识别装置、红外线感应器、全球定位系统、激光扫描器等信息传感装置，按约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络，是互联网的基础之上延伸和扩展的一种网络。
2.1物联网的技术架构和关键技术
根据物联网的运行过程，可以在技术架构的层面上将物联网分为三个层次：
感知层、网络层和应用层。
感知层主要指系统信息的采集。
即是由各种传感器及传感器网关构成，如一维/二维标签码、RFID、传感器、红外感应器、全球定位系统以及摄像头等感知终端。
主要达到识别物体、信息采集并将采集到的数据上传的目的，类似于人类神经系统的末梢。
网络层由各种有线和无线网络系统组成，具体包括计算机终端、各种网络设备等硬件设施以及网络管理系统、各种网络通信协议、云计算平台等软件系统。
网络层的作用就是传递和处理感知层产生的数据。
应用层是物联网和用户（包括人、组织和其他系统）的接口，它与行业需求结合，实现物联网的智能应用。
具体来讲，应用层实现信息和存储、数据的挖掘、应用的决策等，涉及海量信息的智能处理、分布式计算、中间件、信息发现等多种技术。
2.1.1RFID
射频识别技术即RFID（Radio Frequency Identification）技术，又称电子标签、无线射频识别，是一种通信技术，可以通过无线电讯号识别特定目标并读写相关数据，而无需识别系统与特定目标之间建立机械或光学接触。
一般情况下，RFID由标签（Tag）、阅读器（Reader）、天线（Antenna）三部分组成。
射频识别技术是物联网感知层采集信息的重要手段。
射频标签可以附着于物品上并用于对库存、资产、人员等的追踪与管理。
比如在监狱管理中，应用2.45GHz微波的CY-TZB防拆卸腕带，应用RFID技术和ZigBee组网技术，对犯人进行定位，从而有效的监视和管理犯人日常行为，防止犯人越狱，造成严重的社会问题。
目前市场上的RFID读写器，基本上有3种接口供与计算机通信，网口、RS-232/RS-485接口和USB接口。
一般读写器都带有SDK开发包。
采用串口操作，读取数据按协议来分析。
2.1.2传感器
传感器是指能感受被测量并按照一定的规律转换成可用输出信号的器件或装置，通常由敏感元件和转换元件组成。
传感器的分类方法很多，而且互相交叉，一般以被测量参数来分类和以测量原理两种分类为主：
被测量参数分类可分为温度、压力、流量、位移、速度、加速度、粘度、湿度等传感器；按测量原理分类可分为根据电阻定律的电位计式、应变式传感器等。
目前，常用的传感器名称是以上两种的综合，以用途为主，如力敏传感器、热敏传感器、湿敏传感器、磁敏传感器等。
目前国内传感器共分10大类，24小类，6000多个品种。
基于传感器的实时监测系统一般包括数据采集、数据传输及数据管理三个部分。
目前，传感器与数据监控终端的连接方式有很多，如串口、并口、USB接口等。
其中串口是监控领域应用较为广泛的接口。
2.1.3定位导航系统
全球四大导航：
GPS、俄罗斯GLONASS、欧洲伽利略以及中国北斗系统。
国内常用的是GPS和北斗导航。
国内使用最普遍的是GPS，近几年北斗导航也慢慢占领了部分市场。
GPS采用的通讯协议通常可以分为两类:
第1类就是NMEA0183通用协议,第2类是厂商协议。
NMEA0183协议是美国国家海洋电子协会为了保证海上的通讯设备之间互相通讯、共享信息而制定的一种协议,这是一种格式公开的、用逗号分隔各种ASCII字符串表示不同内容的协议,不同的信息用在文件中的不同位置加以区分,大部分的GPS接收机都支持这种协议。
;厂商协议是指GPS生产厂商为了自己生产的GPS能与其他电子产品进行通讯而规定的一种信息结构和传输规则,不同厂商生产的GPS厂商协议通常是不同的,且这种协议通常比较复杂,但使用它可以对GPS进行全面的控制,能开发出功能更全面的应用。
目前北斗导航国内还没有相应的标准来规定北斗通信协议，因此不同厂商提供的北斗模块在通信协议上有很大差别。
2.1.4社交平台
社交网络无疑已成为今天互联网最热门的概念和应用，在中国，以新浪微博，腾讯微博，人人网，开心网为代表的社交网络成为中国网民最活跃的场所。
随着物联网，云计算，大数据等新现象的出现，社交网络的形态也必将发生改变，当物联网连接的物体不断产生信息并形成报告发送给向互联网用户时，它们也将加入到传统的社交网络中，与社交网络中的“人”进行交互。
当物联网与社交网络融合时，每一栋大楼，每一辆汽车，每一个景区，每一个商场，每一个电器都会在SNS网站上开设账号（如微博，如facebook），自动的发布自己实时的信息，并与其他“人”，和“物”进行交互。
每种社交平台都提供相应的API来获取其大数据量的实时数据。
3 实时GIS问题及需求分析
在当前信息社会中，人们利用生活中的各类交互设备来处理大量的实时信息，以便能及时作出更为合理的决策。
实时信息的获取能使人们在有限的时间里接受和理解更为丰富的信息，培养受众的能力。
因此，各个行业领域中越来越多的GIS应用纳入了实时信息，以辅助进行科学决策。
总体来说，对于实时数据的需求归纳一下总共有这么几点：
3.1实时数据源接入
物联网有非常庞大且类型丰富的传感设备，产生更加庞杂类型的数据，且不同设备的采集方式、载体形式以及传输方式差异较大，创建实时GIS应用或向现有企业系统中集成实时GIS能力，首先需要考虑对多源多设备类型的实时数据快速接入，如对各种传感器、GPS/北斗导航、移动设备以及社交平台产生的数据进行快速接入。
3.2实时动态可视化
为更直观的了解查看实时数据，需要提供多种展现手段和展示方式，对接入的各类实时数据流进行动态可视化展示。
对于温度、湿度等数值型监测数据，可采用仪表盘、折线图等表现手段，看上去直观，一目了然；对于位置型数据，如GPS数据、社交媒体数据，在地图上进行标示，还可实时查看事物运行轨迹、历史轨迹、实时状态等。
总的来说，实时动态可视化需兼顾多种数据类型，进行多样化表达，有利于进行辅助决策。
3.3实时数据处理与分析
除进行可视化之外，用户还需要结合实时数据辅助业务分析及决策。
因此对实时数据按需进行处理与分析是用户需要考虑的问题，同时，由于绝大多数数据与位置相关，因此结合地理空间信息来进行实时数据分析同样是用户需要的一种分析手段。
比如，在面向众多对象进行监控时，用户通常会选择部分对象进行重点监控，如需要对某个固定范围内的对象进行重点监控等；而对各种指标进行监控时，而这些指标通常会有一定的阈值范围，因此也需要对这些监控指标数据进行阈值分析；地理围栏也是目前非常重要被普遍使用到多种业务场景中的一种手段；诸如此类，因此在方案中，必须要向用户提供实用的分析和数据处理能力。
3.4结果信息输出
实时监控业务中，用户会预先定义策略或规则对获取的实时数据进行分析，一旦违反策略或规则需要向相关责任人进行报警处理，以快速对异常状况进行处置。
而报警方式也是多种多样，比如采用传统手段如报警提示音、电子邮件、滚动消息、短信等；随着社交媒体不断发展，还可结合一些流行的常见工具，如微信、微博等发布警报信息，通知相应人群对异常进行及时响应。
4实时GIS解决方案
4.1概述
Esri实时GIS解决方案是把GIS、GPS、RFID，通信网络（GPRS/3C），互联网，数据库等多种技术进行集成而建立的可视化信息服务系统。
其基本思路是以空间基础地理信息为基础，把各类传感器设备的空间地理位置进行采集后，把传感器的位置与地理信息相结合，利用通信网络及互联网，按约定的协议进行信息交换和通讯，实现物联网实体在地理信息平台的可视化定位、跟踪、监控和管理。
4.2系统体系架构
Esri实时GIS解决方案为您提供了一个快速集成、处理分析实时数据流的最佳方案。
解决方案具备高度可扩展性、可伸缩性和可定制性。
针对对实时数据接入、处理的需求，解决方案不仅提供了关键技术支撑，同时更注重应用，最大化实时数据的价值。
本解决方案主要解决在现有企业级应用或搭建新应用时对各种类型传感器、GPS设备、移动设备以及社交平台产生的实时数据流的集成及实时分析处理能力。
主要解决四大问题：
1、实时数据源接入。
方案集成多种主流传输协议用于信息接入，如http、websocket、TCP、UDP、NMEA0183等，用户无需再开发即可方便在系统中集成实时数据源。
2、基于GIS的实时动态可视化。
方案提供基于地图的实时数据可视化展示，用户可直接在流服务中载入实时数据，同时无需手动客户端刷新即可实现数据的实时动态展现。
3、基于GIS的实时数据处理与分析。
方案可实现基于地理位置的实时数据处理与分析，如用户可结合当前流行技术-地理围栏，对目标进行监控。
还可以基于空间范围对实时数据进行过滤筛选。
4、处理结果输出。
方案集成websocket、TCP等用户结果数据输出，同时集成SMTP、SMS等协议，用户可按需将分析结果推送给目标人群。
方案还集成了主流社交平台，如新浪微博和微信，可作为结果输出。
另外还与MongoDB进行集成，可直接将实时数据存入数据库。
系统体系架构分五层，如下图：
感知层：
由各类传感器组成，负责信息数据的采集工作；
数据层：
由空间地理数据、业务数据以及采集的实时数据组成，空间数据是基础，业务数据和实时数据可以根据行业需求与空间数据进行集成应用；
网络层：
负责信息的传输，主要包括互联网、移动通信网络、卫星通信网、短距离无线通信网络等；
服务层：
包括实时数据处理服务、地图服务等，它是为各领域各行业的应用系统提供实时GIS服务的；
应用层：
即是在服务层的基础上建立起来的各应用系统，它是根据统一的服务接口及服务方式与基于GIS的物联网原型系统进行整合与集成，在基于GIS的物联网系统的基础上，开发出满足其自身应用需求的行业应用系统。
4.3产品配置方案
数据层：
数据层主要用于对空间数据及实时数据的存储管理。
其中空间数据采用ArcSDE，实时数据可采用MongoDB。
服务层：
数据可通过地图服务或要素服务供用户访问，对实时数据的接入及分析处理通过GeoEventService或StreamService提供。
这些服务可直接通过ArcGISOnline或PortalforArcGIS提供，也可通过本地ArcGISforServer服务器提供。
应用层：
用户可在web应用或移动应用或桌面应用中集成实时数据。
为便于用户使用，本方案中为用户提供了一跨可配置的实时GIS框架，用户通过它可快速搭建桌面端监控系统，该框架是基于ArcGISRuntime.NetSDK开发的。
4.4方案介绍
4.4.1服务层：
实时数据集成及分析处理流程
方案通过GeoEventProcessor产品提供实时数据集成能力，产品通过一个定义的GeoEventService提供对实时数据处理的整个流程，包括对数据的输入、输出以及分析处理。
4.4.1.1实时数据输入
几乎任意实时数据源都可以输入GeoEventProcessor中，常见的实时数据源包括车载GPS设备、移动设备、环境监测设备、网站以及社交媒体提供商。
GeoEvent集成WebSocket，XMPP，TCP，UDP，SMTP，HTTP等主流常用数据传输协议，支持Txt，CSV，JOSN，KML等多种常用数据格式，能够轻松接入常见传感器、移动设备、车载GPS以及社交媒体平台产生的实时数据。
GeoEventProcessor通过输入连接器接收数据，其自带的预配置Input连接器包括以下几种：
Label
描述
PollanArcGISServerforFeatures
轮询要素服务中的要素，将其转换为地理事件。
PollanexternalwebsiteforJSON
轮询URL获取可以转换为地理事件的JSON数据。
ReceiveFeaturesonaRESTendpoint
从REST站点获取JSON格式的要素数据，并将其转换为地理事件。
ReceiveJSONonaRESTendpoint
从REST站点获取通用JSON格式的数据
ReceiveJSONonaWebSocket
通过WebSocket获取通用JSON格式数据
ReceiveRSS
按固定频次轮询URL，获取RSS/ATOMfeed
ReceivetextfromaTCPSocket
能够获取GeoEventSimulator（GeoEventProcessor自带的实用工具）发送的模拟数据。
ReceivetextfromaUDPSocket
通过UDPsocket获取文本数据
SubscribetoanexternalWebSocketforJSON
Descriptionforconnector
Watchafolderfornew.csvfiles
从文件夹获取csv文件
Watchafolderfornew.jsonfiles
从文件夹获取json文件
4.4.1.2实时数据分析处理
针对大数据量的实时数据，GeoEvent提供了丰富的即拿即用的分析处理工具，实时处理包括了filtering过滤器（空间和属性过滤）和processors处理器。
●空间过滤（地理围栏+空间操作）和属性过滤
用户可基于空间要素和属性信息从大数据量的实时数据中筛选目标信息。
空间过滤可以基于空间条件过滤地理事件，由空间操作和地理围栏组成。
创建空间过滤之前，需要GeoEventProcessor中具有地理围栏。
有四个基本的空间操作可以用于过滤地理事件。
空间操作
Inside
仅允许指定地理围栏内部的地理事件通过
Outside
仅允许指定地理围栏外部的地理事件通过。
Enter
只允许进入指定地理围栏得监控对象通过。
Exit
仅允许离开指定地理围栏的监控对象通过。
属性过滤器可用于GeoEventProcessor，用来基于属性表达式过滤地理事件。
●processors处理器
Processors用来进行数据的常规处理。
GeoEventProcessor自带了一些处理器，包括：
4.4.1.3信息输出：
监控资产、更新地图、向关键人员报警
GeoEventProcessor可以在地图上跟踪所有有价值的资产，不管是可运动的资产，如车辆、飞机或船只，还是在物理网络和基础设施中的静止资产，都可进行跟踪。
一旦位置变化或达到某重要阈值，GeoEventProcessor可以自动实时给关键人员发送警报、更新地图、附加数据库以及与其他企业级系统进行互操作。
GeoEventProcessor通过Outputs连接器将实时数据流从GeoEventProcessor中输出。
这既包括将实时分析处理的结果输出给其他人，也包括将这些实时处理结果提供给整个ArcGIS系统。
同样的GeoEventProcessor提供了多种输出连接器，使我们能够快速轻松输出多源实时流数据。
GeoEventProcessor自带的预配置的Output连接器包括以下几种：
4.4.2应用层：
实时GIS开发框架
实时GIS开发框架是方案提供的一款可扩展的系统模版，框架提供可扩展的组件库，各领域用户可通过可视化界面配置功能，从而快速创建满足业务需求的实时GIS应用。
框架主体解决三大问题：
（1）实时数据源接入（包括传感器、移动目标）
（2）可视化实时监控与分析
（3）结果信息输出
其设计思路为：
1张地图、N多组件、无限自由，即用户可以选择组件随意搭配，自由布局展示页面。
框架基于Runtime.NETSDK进行开发，用户可以无需开发，通过配置接入传感器设备、GPS设备等产生的实时数据，并可结合地图、仪表盘、指示器等丰富展现形式，对自然环境、事物进行态势感知及追踪监控，实现对设备、资源、环境的可视化智能监控和管理。
可在桌面端和移动设备上跨端运行。
同时开发人员可对框架进行扩展开发。
4.4.2.1数据源管理
提供Online/Portal、本地或远程Server、GeoEvent管理。
用户任意配置选择常用数据源及GeoEvent服务。
4.4.2.2组件配置
组件包括，地图、仪表盘、指示器、统计图表、目标列表、地理围栏、警示栏、更多（可扩展）。
（1）地图：
提供静态传感器位置分布，或动态目标的可视化追踪监控。
包括常见地图部件，如图层列表、书签、图例等。
包括常用地图操作，如选择、弹出窗口、高亮显示等。
提供配置页面，用户可通过可视化界面配置地图服务、可操作图层（静态/动态），及需要的地图交互能力。
（2）仪表盘：
提供对静态传感器的可视化监控。
提供多种仪表盘式样供用户选择。
用户通过可视化界面配置监控对象和监控指标。
可与警示栏（下面介绍）搭配使用。
（3）指示器：
通过与参考指定值的比较，显示当前状态。
如设置需要监控的车速为60，当未超过60时，显示正常，超过时显示异常等等。
用户可对监控数据源和参考值进行设置。
主要是提供多种监控手段。
可与警示 栏（下面介绍）搭配使用。
（4）统计图表：
提供多种式样的图表，包括折线图、气泡图、柱图等。
用户可对多个指标的当前及历史状况进行实时监控。
通过可视化界面配置图表展示的指标及y坐标轴度量，X轴表示时间刻度。
（5）目标列表：
针对移动目标监控。
在大批量移动目标中，显示重点监控的目标，用户可通过可视化界面配置筛选重点监控目标（可通过配置过滤条件），并设置高亮显示等。
（6）地理围栏：
用户可配置地理围栏，两种方式，提供已有的含地理围栏的要素服务，或者手动创建。
可与警示栏（下面介绍）搭配使用。
（7）警示栏：
可与其他组件搭配使用，主要在于将分析处理结果在警示栏出显示出来。
另，提供紧急人员管理，包括联系人微信、电话、邮箱的配置。
4.4.2.3接口设计
提供开发接口，用户可自定义组件。
5实时GIS应用场景
5.1物联网实时态势感知
5.1.1噪音监控
GeoEvent可以连接物联网中各种传感器设备，该场景中监控的则是噪音传感器产生的噪音值，当前显示的是噪音传感器的分布。
可以看到，随着飞机的往来，噪音值在不断的发生变化。
除了实时监控之外，还可以通过GeoEvent对噪音值进行阈值分析。
当噪音值超过60分贝时，直接进行报警提醒。
这样可以很好的辅助决策者进行快速的决策处理。
5.2移动目标监控
5.2.1人员/设备监控
某社区为保障区内儿童安全，需要对区内儿童进行实时监控。
依托GeoEventProcessor快速搭建了儿童智能监控系统，家长可以实时了解孩子的当前位置，在孩子进入危险区域附近（如池塘等）时，即时向家长发送短信提醒。
同样可应用与野外值勤人员工作考核：
实时工作轨迹、是否脱离工作区域等；
昂贵设备监控：
监控设备实时位置，在离开既定区域时报警。
5.3企业级集成
5.3.1设施监控
GeoEventProcessor可以与OSIsoft的PI设备管理进行集成，用于监控大型企业设备的实时状态。
如电力设施监控，实时监控电力设施，一旦发电设备出现故障，可立即看到。
然后可以启用补充设备，还可以监控到其实时的用电量。
5.4网络舆情监控
GeoEvent还可以连接社交平台进行舆情监控。
该场景为新浪微博实时监控及分析。
接入微博数据，可以输入关键字从大量数据中挖掘感兴趣的内容。
基于这些大量的数据，还可以进行进一步的分析，如基于格网进行区域统计，统计不同区域微博发布的热度。
这种模式可以很好的应用于灾害救援、传染病防御等领域，比如，灾害救援时，通过分析了解哪些地区等待救援的人员较多。
传染病发生后，通过分析查看哪些区域发病人数多，从而进行紧急部署响应。
6方案优势
6.1内置多种传输协议
ArcGISGeoEventProcessor内置多种主流数据传输协议,如：
WebSocket、XMPP、TCP/UDP、SMTP、HTTP、 Esrifeatureservice等，同时支持多种数据格式Txt，CSV，JOSN,KML等，无需再开发即可使用这些协议接入、输出实时数据。
6.2即拿即用的分析处理工具
提供地理围栏、属性过滤、字段计算、事件监测等十余种分析处理工具，无需可发即可使用工具对实时数据进行相应处理及分析。
6.3拖拽式处理流程编辑定义
提供可视化在线编辑器定义实时数据分析处理流程。
可灵活搭建处理流程，拖拽式轻松实现工作流程的定义。
操作简单易用。
升级会员 