城市智慧交通建设关键技术Word文档下载推荐.docx
《城市智慧交通建设关键技术Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《城市智慧交通建设关键技术Word文档下载推荐.docx（10页珍藏版）》请在冰豆网上搜索。
2）多样性
除了传统的关系型数据，如视频、音频和图片等非关系型数据量也越来越大；
3）高速性
大数据处理对时效性的要求非常的高，如布控车辆的比对需秒级响应；
4）价值性
需从这些海量数据中提取有效的信息，为交通管理者提供辅助决策支持。
在社会经济高速发展的今天，在数据为王的互联网时代，交通领域正面临着异常严峻的挑战。
传统的交通管理信息系统难以满足当前复杂的交通需求，如何通过大数据构建合理高效的城市交通管理体系已经成为交通管理者当前迫切需要解决的关键问题。
我公司依托Hadoop分布式存储系统，通过多年的实战应用积累，构架了一套基于交通的有效地实时采集、处理和分析的系统架构与实现方法，目前已在城市治安防控中发挥着日益重大的作用。
海量数据分布式存储技术
针对海量图片和非结构化数据存储需求，分布式存储系统采用Hadoop存储解决方案，实现图片和文本历史数据统一存储和高效管理。
1、Hadoop存储系统特色
实现了一个分布式文件系统（HadoopDistributed，HDFS），容错性高，具备高速缓存集群能力，可进行分布式数据存储。
●高速缓存：
具备百万级数据处理能力，毫秒级响应速度。
●关系数据库处理：
具备千万级数据处理能力和秒级响应速度。
●分布式数据存储：
具备海量数据存储能力，功能简单，响应速度秒级到分钟级。
●高容错性：
自动保存多个副本，自动将失败的任务重新分配，保证系统可靠性。
●高扩展性：
Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
2、技术架构
图27架构示意图
前端数据转发：
前端设备采集基础数据，突破结构化文本信息，通过数据总线，并发写入到后端的分布式存储系统中。
Hadoop存储平台：
接收前端数据转发的图片和文本，与业务平台对接，进行数据交换，同时将文件分块复制到多个存储模块中。
高可靠性分布式计算技术
基于对系统的多用户、高并发、大数据、高性能的特点和要求，系统采用大量的分布式计算技术。
分布式计算为了能极高效地发挥计算机的性能，采用低成本软硬件资源，把庞大的工程分割成适合小部件软硬件需要完成的模块，分配给不同的计算机进行处理，并把这些分别单独运算的计算结果整合起来起来，得到最终的结果。
Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。
需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小。
它提供了具有有用差异的一个新的集群计算框架。
首先，Spark是为集群计算中的特定类型的工作负载而设计，即那些在并行操作之间重用工作数据集（比如机器学习算法）的工作负载。
为了优化这些类型的工作负载，Spark引进了内存集群计算的概念，可在内存集群计算中将数据集缓存在内存中，以缩短访问延迟。
Spark是基于mapreduce算法实现的分布式计算，不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。
Spark分布式计算的一些特点如下：
●效率更高：
Spark的中间数据放到内存中，对于迭代运算效率更高。
●通用型好：
Spark提供了比MapReduce更多的数据集操作类型，这些多种多样的数据集操作类型，给开发上层应用的用户提供了方便。
各个处理节点之间的通信模型不再像是唯一的DataShuffle一种模式。
用户可以命名，物化，控制中间结果的存储、分区等。
可以说编程模型更灵活。
●容错性高：
在分布式数据集计算时通过监测群集中的每个节点来实现容错性的。
每个节点定期报告和返回完成的工作与状态更新。
如果某个节点的静默时间长度超出了预期值，主节点就会发出通知，并把工作重新分配给其他节点。
●高可用性：
Spark通过提供丰富的Scala,Java，PythonAPI及交互式Shell来提高可用性。
内存数据库技术
传统数据库是磁盘数据库（DiskResidentDatabase，DRDB），即数据的主拷贝（PrimaryDB）在磁盘上，数据库管理系统为了向应用系统提供存取服务，将用户需要访问的数据装入主存中，即对数据的管理是“基于磁盘的缓存技术”。
而磁盘相对于主存来说是极其低速的存储介质，且磁盘存取速度还和欲存取的数据的物理位置和当前磁头状态有关。
另外，管理缓存（cache）或缓冲（buffer），无论是在操作系统（OS）层，还是数据库管理系统层，都需要付出较大的代价（时间和空间，尤以时间代价为甚）。
因此，即使将磁盘数据全部缓存到主存，其管理代价仍较大，存取速度仍然无法满足多数实时性应用系统的要求。
为了实现实时数据库系统，我们采用了基于内存的数据库。
与传统关系数据库的根本区别在于，在内存数据库中，数据库的全部或活动事务存取的数据放于内存中，这样事务对盘的访问完全取消了。
由于整个数据库放于内存，数据库则不再作为大量存储文件看待而作为内存中可寻址的大量数据，不同于DRDB中的缓存或缓冲区方式，它完全打破了传统磁盘数据库系统的设计宗旨，带来了其自身新的设计问题。
如：
传统磁盘数据库系统的数据组织、访问方法、查询处理算法的设计都针对减少磁盘访问次数与有效利用盘存储空间，甚至牺牲CPU时间来减少I/O次数（如查询处理有大量中间数据），而内存数据库的设计则主要考虑如何有效地利用CPU的时间和内存空间。
对传统磁盘数据库系统相当有效的数据组织、访问方法、查询处理算法，对于内存数据库系统可能并不有效，相反，一些认为对传统磁盘数据库系统无用的办法，反而成为可行的。
显然此方式可完全消除事务与盘打交道，且可避免与影响性能的缓冲区管理程序发生联系，故采用此方式使数据库系统性能极大提高。
内存数据库系统带来的优越性能不仅仅在于对内存读写比对磁盘读写快上，更重要的是，从根本上抛弃了磁盘数据管理的许多传统方式，基于全部数据都在内存中管理进行了新的体系结构的设计，并且在数据缓存、快速算法、并行操作方面也进行了相应的改进，从而使数据处理速度一般比传统数据库的数据处理速度快很多，一般都在10倍以上，理想情况甚至可以达到1000倍。
Web服务器集群和负载均衡技术
网络的快速增长使多媒体网络服务器，特别是Web服务器，面对的访问者数量快速增加，网络服务器需要具备提供大量并发访问服务的能力。
对于提供大负载Web服务的服务器来讲，CPU、I/O处理能力很快会成为瓶颈。
简单的提高硬件性能并不能真正解决这个问题，因为单台服务器的性能总是有限的，尤其是网络请求具有突发性，当某些重大事件发生时，网络访问就会急剧上升，从而造成网络瓶颈，必须采用多台服务器提供网络服务，并将网络请求分配给这些服务器分担，才能提供处理大量并发服务的能力，因此服务器的负载均衡技术就成为建立一个高负载Web站点的关键性技术。
为了提高系统稳定性、可靠性，我们采用了Nginx集群和负载均衡技术。
Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like协议下发行。
由俄罗斯的程序设计师IgorSysoev开发，最初供俄国大型的入口网站及搜寻引擎Rambler（俄文：
Рамблер）使用。
其特点是占有内存少，并发能力强，事实上Nginx的并发能力确实在同类型的网页服务器中表现较好。
目前中国大陆使用Nginx的网站用户有：
新浪、网易、腾讯。
数据分级存储
根据交通数据应用特性，我们采用了数据分级存储的机制。
交通领域的原始数据是庞大繁杂的，如实时流量、实时状态、实时轨迹信息等。
我们通过数据清洗、分析处理、合并结转等预处理方式，形成了相对集中准确的成果数据，如5分钟/15分钟/1小时流量数据、1分钟GPS轨迹信息、当日警情信息等。
这样，在多数相对频繁及常用的应用场景中，系统不必去访问分散庞大的原始数据，而只需直接访问成果数据，极大地提高了系统效率和用户体验。
根据实际业务应用场景，我们在交通信息资源平台中对数据存储进行了相应规划，如公用基础数据（设备设施、用户权限、路网配置等）、公用字典信息（号牌种类、车身颜色、违法行为等）、通用专题信息（包括流量信息、通行车辆信息、警车轨迹信息、警员信息等），确保了数据的一致性和访问效率。
另外，根据数据价值和关键等级，我们也进行了相应分级，一些关键信息（如违法信息、警力资源信息、关键操作日志、基础配置信息等），为确保系统安全，它们的存储机制和备份机制也是不同的。
图像智能分析应用技术
图像智能分析处理技术利用智能神经网络技术，对视频图像进行分层处理，分离出对系统有用的人或物体。
神经网络是基于模拟人脑智能特点和结构的一种信息处理系统，它通过对人脑的基本单元的建模和典型的激励函数的设计，来探索模拟人脑神经系统功能的模型，并研制一种具有并行分布处理与存储、高度自适应和自学功能、能分析较为复杂的非线性系统的软件模拟技术。
图像智能分析处理技术就是自动的分析和抽取视频源中的关键信息。
如果把摄像机看作人的眼睛，而智能视频系统或设备则可以看作人的大脑。
图像智能分析技术借助计算机强大的数据处理功能，对视频画面中的海量数据进行高速分析，过滤掉冗余的信息，为监控者提供有用的关键信息。
高效基于图像二次识别技术，实现过车数据二次识别车牌号码、车辆品牌、型号和车身颜色；
同时可实现以图搜图功能，通过截取车辆特征实现对车辆的查找。
图28图像智能分析应用
支持多种载体的应用技术
公安交通管理工作由于其特殊性，需要随时随地获取实时信息，现有的公安交通指挥系统普遍采用的是有线网络，需要现场操作，工作人员一旦离开网络终端，便无法获得相关的实时信息，造成信息和决策的延误；
而无线通信技术的不断发展和普及，特别是无线网状网、3G等技术的应用，使无线移动通信技术与公安交通管理相结合成为可能。
在智能交通高速发展的今天，对城市交通态势的监控需要更灵活更实时，对突发事件的处置需要更高效更快速，传统的指挥中心工作模式已无法很好满足。
为实现扁平化指挥精细化管理的目标，指挥中心的作战区域不再仅局限于指挥中心大厅，而更多地前移到分中心、路面民警，从而形成立体化多级指挥作战体系，以应对日趋复杂的城市交通管理。
如交通实时状况，不仅需要在指挥中心或者业务领导的PC机上能看到，民警也需要在路面执勤时在移动终端（手机、PAD、PDA）上看到，而交通出行者更需要在路面诱导屏上看到；
如警情处置，不仅需要能在PC机上执行，也需要能在指挥中心或作战指挥室的大屏上协同决策处置，更需要路面民警通过移动终端和中心进行相应的指令交互。
高效核心业务平台的产品形态覆盖PC、PAD、手机以及超分大屏，各产品形态之间实现了业务的无缝连接、多屏互动。
高效智能交通管控平台（移动版）能够为公安交通管理部门提供平时信息查询、交通状况监测的需要，满足突发事件、特勤任务等发生时与指挥中心信息交互、实时查询信息的需要，实现现场与交通指挥中心互通互联、资源共享，从而满足政府领导到现场指挥工作的需要，使指挥工作实战化。
图29支持多种载体的业务应用
系统通用集成框架技术
在多年的城市公安交通集成指挥平台建设过程中，高效不断研究实战需求，总结归纳，提炼整理，已经形成了一套成熟专业、灵活可靠的相对完整的系统集成框架。
该集成框架是基于相关国标部标（包括GA/T1049系列、GA/T16系列、GA/T445、GA/T1043、GA/T1047等）以及高效制定的企业标准，通过抽象化和去差异化，屏蔽掉子系统内部不同的部件间繁杂的设备驱动程序或底层通信协议，屏蔽掉不同开发商之间的在不同操作系统、不同开发工具方面的技术差异，做到了业务应用层和设备感知层的完全隔离，应用层不会因为子系统或是前端设备的变化而影响功能或稳定性。
同时该框架也为第三方平台或设备提供了与操作系统无关、与开发工具无关的通用开发接口及相关测试验证工具。
第三方平台或设备如符合该接口标准，即可实现快速的无缝对接；
若接入方无法做到完全符合接口，我们也可在获得相关开发文档和技术支持的基础上，按照适配驱动的开发思想，以相对独立的插件形式完成与标准集成框架的对接。
目前该框架已实现适配接入国内绝大多数主流厂家的交通设备，包括信号、视频、电警、卡口、接处警、GPS、大屏等。
高效系统集成框架以其良好的兼容性、通用性、开放性、可扩展性，为城市智能交通的可持续建设和发展提供了重要的基础技术支撑。
面向多源数据的交通管理GIS应用平台
高效交通地理信息平台（DTGIS）是针对交管平台专门打造的地理信息应用平台，以公安网为基础，以警用电子地图为核心，以地理信息技术为支撑，对空间地理数据进行可视化展现及空间数据分析，为其它业务平台提供基础支撑。
1）图片缓存技术
将地图设定为多个比例尺，对于每个比例尺提前将地图分成若干小图片，存在服务器上，客户端访问时直接获取需要的小图片拼接成地图，而不是由服务器动态创建出一幅图片来送到客户端，极大程度的提高了反问速度。
2）紧凑型存储图片
紧凑型存储最主要的两种文件是bundle和bundlx文件，其中bundle文件用以存储切片数据，bundlx是bundle文件中切片数据的索引文件。
一个bundle文件中最多可以存储128×
128（16384）个切片，但是创建切片缓存并不是一张张切片单独生成，而是以4096像素（无抗锯齿）或2048像素（有抗锯齿）为边长渲染的，如果我们选择的切片边长为256像素并开启了抗锯齿，那么每次ArcSOC进程创建的是一张以8×
8（64）个切片拼接成的大图，然后切割后存入bundle文件中。
3）图形设备接口（GDI）
图形设备接口（GraphicsDeviceInterface或GraphicalDeviceInterface，缩写GDI），是微软公司视窗操作系统（MicrosoftWindows）的三大核心部件（也称“子系统”）之一。
GDI是微软视窗系统表征图形对象及将其传送给诸如显示器、打印机之类输出设备的标准。
栅格地图控件利用该技术将图片绘制到Activex控件中。
4）空间数据库引擎（SpatialDatabaseEngine）
使空间数据可在工业标准的数据库管理系统中存储、管理和快速查询检索的客户/服务器软件。
它将空间数据加入到扩展关系数据库管理系统中，并提供对空间、非空间数据进行有效地管理、高效率操作与查询的数据库接口。
本系统借助成熟的ArcSDE，SDX+，OracleSpatial引擎，实现空间数据的管理、查询、分析等功能。
5）基于SOA的地理信息服务技术
SOA是为了让地理上分布在不同区域的计算机和设备一起工作，以便为用户提供各种各样的服务。
用户可以控制要获取信息的内容、时间、方式，而不必像现在这样在无数个信息孤岛中浏览，去寻找自己所需要的信息。
SOA是独立的、模块化的应用，能够通过网络来描述、发布、定位以及调用，从而实现面向组件和跨平台、跨语言的松耦合应用集成。
在地理信息系统建设过程中，运用先进的SOA技术，开发一些基础、通用性的地理服务接口。
业务应用系统可以不用再购置GIS软件，通过直接调用接口，将GIS功能嵌入到业务系统，实现MIS与GIS应用的有机结合。
6）基于浏览器的空间数据采集技术
为了方便用户不受地域和软件限制的采集数据，平台提供在浏览器上实现空间数据及其属性的一体化采集与编辑，经过复杂的采集数据审核机制，可直接存入地理数据库。
多源交通数据融合技术
数据融合是一个多层次、多方面的数据处理过程，其基本原理就是充分利用各个传感器资源，通过对这些传感器得到的观测信息进行合理利用，把在空间或时间上冗余和互补的多种传感器按照某种原则进行结合，以获得对被测对象的一致性描述提高传感器的有效性。
多传感器的信息融合的本质性是其可以在不同维度、不同层次、不同时间段上出现，具有更为复杂的性质，和更为接近人脑的智能化计算。
不同来源的采集数据和信息是数据融合的加工对象，协调优化和综合处理是数据融合的核心。
在交通信息采集尤其是动态交通信息采集中进行融合是十分必要的，主要由数据融合的优点和交通信息的特点共同决定的。
另外由于交通数据的多源性、异构性、多层次性、不完整、不一致、具有时间与空间等特征，必须采用数据融合技术提高智能交通信息的可靠性，利用多源信息互补提供交通信息的可靠性，将不精确、不完整、不一致、不可靠、甚至相互矛盾的交通信息转化成对目标或现象一直性的解释和描述。
多源交通信息融合是城市公安交通指挥系统的一个核心技术，它通过对异构（不同传感器）多源数据的综合处理，以得到比任何从单个数据源更全面、准确的交通流状况的信息。
系统拥有丰富的独创的模型和算法集——数据采集去噪处理、基于高速缓存的数据排队、GIS地理信息整合、GPS动态交通数据采集传输、GPS位置快速匹配、交通流异常分析、环形线圈交通流量/旅行时间交通流检测数据融合、多源动态交通流路段速度融合、基于网格的交通数据立体结构、交通路网运行状态生成、短时交通状态预测、多源动态交通流信息挖掘模型等，可从数据级、特征级和决策级三个层次进行数据融合分析。
此外，高效公司积极与高德、XX合作，取长补短。
在自主像素级融合技术基础之上，接入互联网公司的判态结果，做状态级融合。
多源视频集成应用技术
在交通管理领域中，视频技术是应用最广泛的一个基础应用系统，现有的交通视频监控系统由于技术体系不一，采用的标准各异，存在着相互之间难以兼容的问题。
对于城市范围的视频监控系统建设来说，不可能只采用一种视频监控系统，必需兼容使用多种不同的视频监控系统。
高效公司基于部标GA/T28181自主开发流媒体视频网关，构筑一个兼容性强、扩展性好的集成视频监控应用系统。
平台屏蔽不同视频资源间的差异，为用户调用各种视频资源提供统一的接口，使得对用户而言视频资源与设备无关、与网络无关、与格式无关，对所有视频资源的操作一致，界面统一，方便用的使用。
集成视频监控应用系统负责连接下层各视频监控子系统，屏蔽各视频监控子系统间的差异，为用户调用各种不同的视频监控资源提供统一的调用接口。
用户通过上层的集成视频监控应用系统可以方便地实现实时视频监控、历史录像检索、视频巡检等功能。
支持多层次多元化协同指挥调度模式
多层次多元化协同指挥模式，实现了支队与大队指挥调度协同，多业务视角的资源视图协同。
图210多层次协同指挥模式
多层次协同指挥模式，实现了支队主控中心和大队级分控中心协同调度，将指挥调度网络覆盖到整个地区，可实现各个大队与支队之间的数据共享和协调调度功能。
调度资源的多元化，在虚拟层次上，刻画各业务系统的物理服务资源，为指挥调度用户提供可用的、业务级别上的资源视图。
通过动态调度组合引擎，对参与组合的系统进行动态调度，实现虚拟组织上的共享与协同。
图211多元化协同指挥模式
基于可视化的方案预案推演技术
近些年来，交通突发事件频发，特别是重大交通事故，为国家造成了巨大的经济损失，同时也暴露出在指挥调度、应急处置中的一些问题，在应急决策阶段，目前交通预案的启动主要依靠人为判断确定是否启动预案以及启动几级预案，然后按照预案的流程、规范进行人员和装备调度、救助执行。
这种应急过程完全依赖于人为决策，缺乏一个可视化的会商环境提供各种参考信息辅助决策，特别是在面临重大交通事故、特勤任务时，对于警员的调度、救助路径的分析，现行的方式无法给与相关的详细信息及参考，因此，对于方案预案需要一个可视化的会商环境，对方案预案进行可视化以及相关分析，为应急决策提供直观、有用的参考信息。
高效公司的方案预案推演以预案库以及情景模型为基础，通过综合应用GIS、VR、FLASH等可视化先进技术，对方案预案中的各个关键要素进行抽象表达，以对应的复合图形符号在遥感影像图以及矢量电子地图上进行标注；
同时以多空间尺度、多时间序列等多种方式对不同级别的预案进行推演。
提供特勤任务模拟真实环境的预演功能，用户在实际的特勤路线上，模拟GPS车队和行驶速度，模拟警力部署及到位情况，通过预演功能，能够反复分析检验该任务方案有无缺陷，找出问题，提供任务成功的完成率。
升级会员 