智能交通大数据与云应用解决方案.docx
《智能交通大数据与云应用解决方案.docx》由会员分享，可在线阅读，更多相关《智能交通大数据与云应用解决方案.docx（33页珍藏版）》请在冰豆网上搜索。
智能交通大数据与云应用解决方案
智能交通大数据及云应用平台解决方案
随着日益增长的交通“大数据”，给交通管理创新带来的新挑战，以及对交通管
理工作提出的新要求，交通信息化建设必然步入云计算智慧应用阶段，利用云计
算破解当前诸多交通瓶颈问题。
精品文档，超值下载
什么是交通大数据
交通概念很大，所涉及的范围很广，如城市道路交通指数、地铁运行数据、
一卡通乘客刷卡数据、港口集装箱数据、机场航班数据、轨道交通运营数据、远
洋及内河航道船舶数据、物流车辆及货物数据、公交车实时数据、出租车行车数
据、空气质量状况、气象数据、道路事故数据、高架匝道运行数据、以及衍生的
相关拥堵、事故、违法信息等都属于交通数据。
我们通常所提的城市公安交通管
理大数据是指在城市智能交通建设和运营的过程中，从视频监控、卡口电警、路况信息、管控信息、营运信息、GPS定位信息、RFID识别信息等每天产生的大量数据，并借助信息化手段将这些相互关联的数据整合到一起（比如车辆信息、地
图信息、人员信息、违规违章记录信息等等），形成一个有价值数据链，从而知道城市交通信息化建设，为公安交通实战应用服务，为市民出行服务。
什么是云分析
云分析系统具备超高的计算性能，单机设备每天处理的信息量最大高达2000万张图片。
云分析具备对卡口、电警以及部分监控设备拍摄的车辆图像信息的结构化智能分析功能，主要包括识别图像中车辆的品牌、型号、年款、车身颜色、
类别、异常特征（如遮挡面部、遮挡号牌）、唯一性局部特征（如年检标志、车内饰物）等关键信息。
可对提交的图像中的车辆车牌颜色及车牌号进行二次识别，通过大数据进行，时间、地理、轨迹等的对比识别，以得出分析结果。
过去几年，智能交通系统建设取得了长足的进步与发展，针对道路交通违法、交通安全等，不断在不同的时间，不同的阶段建立了交通卡口、违法检测、道路
智慧监控、交通事件监测等信息化系统，但这些信息化系统所采用的设备、平台均来自于不同的厂家，采用的标准，上下级不能很好的实现级联，与公安系统融合度不高，无法进行集中管理，资源共享，发挥统一的实战作用。
1
不同时期，不同阶段建设的信息化系统，技术路线，功能性能指标各异，在套牌、摘牌、故意遮挡号牌等涉车案件中，不能找到行之有效的手段处理。
现阶段，交通违法行为导致的交通安全、道路交通事故问题依然突出，交通违法管理的颗粒度也越来越细，道路交通安全法也不断的修正以满足交通管理工作的需要。
其中，不系安全带、开车打电话等违法行为纳入了处罚范围，而过去建设的卡口系统绝大多数不具备这些功能，不能很好的服务公安交通管理需要。
云分析系统的出现，问题将迎刃而解。
云分析系统创新型引入GPU+CPU的设计理念，单台设备每天最高处理性能达到2000万张图片，提取车牌号、车身颜色、车标、子品牌、车型、车脸等交警实战所需的结构化信息，并能够自动甄别
不系安全带、打电话等违法行为，为公安交通管理提供全新的技术手段和业务体验。
系统设计
系统中采用的设计方法和技术路线在实战应用技术中处于领先地位，软件的设计先进灵活，便于升级以及与其它系统的互联互通。
系统涵盖了目前实战应用所涉及的一系列技术，如：
图像预处理、信息筛查、电子地图轨迹分析等，在此
基础上融合了车型建模、车牌识别、车标识别、运动目标检测和行为分析、图片
检索等智能视频图像分析技术，创新性的实现了“车脸识别”、“不系安全带检测”等功能，创造性的使用云分析实现超大数据量的图片二次识别，为用户提供超高性价比的解决方案。
系统设计时，对需要实现的功能进行合理的配置，且配置具有良好的兼容性和扩展性；通过提供二次开发接口，支持用户利用本系统自主开发新功能，满足业务需求。
系统具有开放性的标准体系，后端基于开放式的TCP/IP网络系统进行设计，支持多种网络协议，便于和各系统间的互联、互通、互控，遵循规范的通用接口
标准，使系统对硬件环境、通信环境、软件环境、操作系统之间的相互制约和影响减至最小。
具有良好的人机交互界面，尽可能避免出现繁琐操作实现某项具体业务应用的情形。
系统在体系设计及工程实施中应根据用户使用需求充分考虑性能优化，在合理时间范围内，尽可能缩短系统的操作响应时间；系统维护也应在合理范围内尽可能简化，使操作人员能快速地学习和掌握系统操作。
2
系统涵盖了目前交通管理业务应用所涉及的一系列技术，如：
图像接入、通用解码、转码、图片索引、车型建模、图像预处理、信息筛查、电子地图轨迹分
析、套牌分析等。
基于云分析的二次识别方案配合大数据的高效查询、检索、研
判方案，构筑了智能交通综合管控平台的数据底层支持优秀架构，为交警实战业务应用提供了极佳的用户体验。
1.1系统架构
用
利旧和集成
户
层
公安局
交警总队
交通支队
交通大队
政府相关部门
社会公众
信息
发布
与展
指挥中心监
室外交通
交通广播
交通电
服务
接处警
平面媒体
现层
手机应用
系统
控大屏
诱导屏
电视台
视台
网站
信息发布
信息服务
业务
业务应用
应用
层
交通状况监测
日常组织与管控
交通区域信息控制
应急指挥与协作
车辆信息研判与
违法管理
分析
系统
现有应用系
统
数据服务
数据服务
数据资源管理与整合中心
信息
支撑
层
关系数据库
分布式文件系统
基础数
业务数
交换数
监控
交通
实时交
据库
据库
据库
视频
图像
通数据
数据存储
数据模型
数据分析
数据加工
数据清洗
数据预测
现有基础运
数据优化
数据共享
数据服务
行环境体系
虚拟化大数据技术并行计算二次识别云管理平台网络系统配套工程
信息采集信息采集
感知
事件
电警
122接
信号
GPS车
层
微波
视频
地磁
视频
检测
检测
检测
监控
检测
卡口
处警
机
载终端
系统的使用者通常为指挥中心调度人员、指挥中心带班领导、支/总/大队的主管领导、交通秩序管理人员、大队分控中心人员、路面执勤民警等。
系统维护的职责则由运维工程师和系统管理员完成。
主要的关键业务应用包括交通状况监测、日常组织与管控、应急指挥与协作、信息研判分析等方面，主要是应对城市交通管理的现状实时监视、日常业务处置、突发事件应对、交通数据挖掘研判等业务需求。
3
辅助核心业务的是一系列的支撑应用，包括基础数据管理（路网信息、设备设施信息）、警力资源管理（警员信息、警车信息、装备信息）、电子地图管理、系统配置管理。
在应用层下面是支持业务应用的支撑层，在这层完成对信息的采集、汇聚、
加工、存储、交换等处理操作，同时支撑层还内包消息服务器、GIS地图中间件、视频服务、诱导服务等信令及数据的服务或中间件。
最下端为数据感知层，包括业务子系统及设备，为各类交通信息的原始数据来源，如GPS车辆轨迹信息、视频信息、通行车辆信息、交通流信息、施工占道信息、交通管制信息、气象信息等。
视频大数据技术平台
视频大数据技术平台负责存储和提取处理视频、图片等非结构化数据，通过视频结构化技术，可挖掘出视频图像中的人、车、物、事件等结构化信息，进一
步用于大数据的分析挖掘。
同时，视频大数据技术平台可提供视频摘要、视频浓缩、视频质量诊断等智能分析服务，使上层应用提高视频处理的效率。
通用大数据技术平台
通用大数据技术平台提供基于Hadoop和Spark的分布式存储、分布式计算
等能力，负责整合并管理海量的结构化、半结构化、非结构化数据，具备高度的
可扩展性，可将数千台的廉价服务器组建成一套庞大的云存储系统、一台超级计
算机。
基于Spark架构的内存运算，速度比传统的Hadoop快10~100倍，适合交
通行业对时间要求的流式计算需求。
行业大数据能力平台
能够针对海量数据进行快速检索、快速统计分析，同时能够进行深度的关联分析，挖掘出其中有价值的信息。
行业大数据能力平台以接口的方式为上层应用提供服务。
大数据运维平台
负责对整个大数据平台进行部署、配置、管理、监控，通过自动化安装的方
式，方便用户架设大数据平台。
同时，通过可视化界面，可以形象地获知整个平
台的运行状况。
随着业务的发展，当平台需要升级或扩容时，可方便的通过该工
具进行调整。
4
1.1.1视频大数据技术平台
1、视频云存储
视频云存储系统解决百PB级视频基础数据视频数据的低成本、高可靠存储，支持视频流数据的高并发I/O。
监控平台视频云分析系统大数据分析系统
前端
...
预览/回放
视频数据
智能数据
视频/图片
/下载数据
下载
下载
流数据
视频云存储系统
存储资源池
...
管理节点
存储节点存储节点存储节点
...
管理节点管理节点
视频云存储系统架构图
2、视频云分析
视频云分析平台则是通过整合用户现有的数据中心分析设备，对过车视频、过车图片等数据进行进一步分析，其中中心分析设备采用分布式计算节点集群的方式，能够提供基于任务自动负载均衡的数据处理方式，解决从海里视频图像数据中解析出来的视频结构化数据的需求。
5
视频云分析方案架构图
具体包括以下模块：
特征提取模块
特征提取模块负责对实时或历史视频图像中的结构化信息进行提取，包括
人、车、物等特征信息。
提取出的信息存储于大数据系统中，并作为DataEngine进一步分析的数据基础。
行为分析模块
行为分析模块负责对实时或历史视频图像中的行为信息进行分析，分析结果可作为上层应用报警的依据，同时行为信息作为结构化数据，可存储于大数据系统中，并作为DataEngine进一步分析的数据基础。
音频分析模块
音频分析模块负责对音频进行分析，识别异常音源，分析结果可作为上层应用报警的依据。
以图搜图模块
以图搜图模块负责对大数据系统中的图片数据进行分析比对，并按相似度返回图片列表。
以图搜图模块支持对人脸图片的搜索，支持对车辆图片的搜索。
隐私保护模块
6
隐私保护模块负责对实时或历史视频图像中的人体影像进行模糊处理，保护个人隐私。
视频摘要模块
视频摘要模块负责对实时或历史视频进行摘要处理，提取出视频中有用的信息，合并到同一个背景中，以此缩短视频播放时间。
视频摘要可有效缩短用户观看视频的时间，提高工作效率。
视频浓缩模块
视频浓缩模块负责对实时或历史视频进行浓缩处理，视频中有事件出现时进行慢放，无事件时进行快放，以此缩短视频播放时间。
视频浓缩可有效缩短用户观看视频的时间，提高工作效率。
视频质量诊断模块
视频质量诊断模块负责对实时视频流进行质量诊断，以巡检的方式对前端接入视频流进行分析，实时发现摄像机是否在线、画面是否正常等问题。
视频图像增强复原模块
视频图像增强复原模块负责对实时或历史视频图像进行增强复原，对效果较差的视频、图像进行智能修复并增强处理。
1.1.2通用大数据技术平台
通用大数据技术平台是大数据的存储和计算中心，具有分布式、统一存储、
统一访问、动态扩容的特点，用于汇集视频、图像、报警、卡口信息、位置信息、
案事件等大数据，为数据的综合利用提供支撑。
7
系统技术架构图
分布式文件系统HDFS2.0：
运行在通用硬件上的可扩展高容错的分布式文件系统，已经成为海量数据存储的事实标准。
负责海量数据存储，将数据分散存储在多台独立的设备上，系统采用可扩展的体系结构，利用多台存储服务器分担存储负荷，利用元数据服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
分布式资源管理YARN：
分布式资源管理框架，负责计算、存储资源的管理，用以提高分布式集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。
分布式计算Map/Reduce：
分布式计算框架，负责将一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。
分布式数据库HBase：
一个分布式的、按列存储的、多维表结构的实时分布式数据库，用于存储粗粒度的结构化数据，适合构建高并发低延时的在线数据服务系统。
全文检索引擎Solr：
一个基于Lucene构建的开源，分布式，RESTful搜索引擎，设计用于云计算中，能够达到稳定、可靠、快速实时搜索。
8
内存计算Spark：
下一代基于内存的Map/Reduce计算引擎，处理大数据像“光速”一样快，比HadoopMap/Reduce快10x到100x倍。
流计算Stream：
流计算，负责对流媒体数据的分析计算。
分布式协作Zookeeper：
分布式协作系统，作为一个分布式锁及共享数据管
理者，提供集群节点间的事物协调服务，保证HDFS、HBase、Spark、Map/Reduce
等分布式系统的安全可靠运行。
Kafka：
分布式数据总线，负责数据的采集、整合、交互。
Sqoop：
SQLtoHadoop，一个数据抽取工具，用于从关系数据导入数据到Hadoop。
1、分布式文件系统
HDFS是分布式计算中数据存储管理的基础，具有高容错性、高可靠性、高
可扩展性、高吞吐率等特点，可以设计部署在低廉的硬件上，为海量数据提供了不怕故障的存储，适合那些有着超大数据集的应用程序。
2、分布式数据库
HBase是一种构建在HDFS之上的分布式、面向列的存储系统，它具有高可
靠、高性能、面向列和可伸缩的特性。
HBase适合于存储大表数据（表的规模可以达到数百亿行以及数百万列），并且对大表数据的读、写访问可以达到实时级别。
3、分布式计算
MapReduce是一种处理海量数据的并行编程模型和计算框架，用于对大规模数据集（通常大于1TB）的并行计算。
MapReduce的名字源于该模型中的两项核心操作：
Map和Reduce。
Map将一个任务分解成为多个任务，Reduce将分解后多任务处理的结果汇总起来，得出最终的分析结果。
4、分布式协作系统
ZooKeeper是一个针对大型分布式系统的可靠协调系统，主要提供两个功能：
帮助系统避免单点故障，建立可靠的应用程序；提供分布式协作服务和维护配置信息。
9
1.1.3行业大数据平台
行业大数据平台负责与通用大数据平台进行对接，负责对结构化数据（过车数据、测速数据）进行分析计算，提供快速检索、分析、统计、挖掘等功能，并
提供用户最终的操作界面。
面向交通行业的大数据业务展示平台，即为XZX-TMS-9200智能交通综合管控平台。
1.1.4大数据管理平台
大数据管理平台负责对整个大数据平台进行部署和管理，结构示意图如下图
所示，包括集群部署、集群管理、任务管理、服务管理、状态监控、用户管理、告警、日志等模块。
大数据管理平台架构图
10
1.2数据流程设计
枪机
智能交通综合管控平台
智能交通综合管控平台
应用服务器数据库服务器应用服务器数据库服务器
接网入关服务器管理服务器
球机
数据整合及接入云分析大数据应用
第三方平台
前端及第三方资源
前端新建及已建能够按照标准协议接入的设备通过智能交通综合管控平台
交通接入服务器接入转发至云分析平台进行车辆建模和二次识别。
已经部署云存储模块的系统，云分析也能够直接从云存储中读取图片信息进行车辆建模和二次识别。
已建的第三方平台，提供符合要求的SDK协议，智能交通综合管控平台进行数据整合后再转发至云分析平台进行车辆建模和二次识别。
云分析通过智能交通综合管控平台提供的图片URL信息加载图片，进行建模和二次识别，完成建模和二次识别后，将识别结果信息如车牌、车型、车辆品牌等信息提供给大数据平台。
大数据平台读取二次识别的结果信息，写入到HDFS分布式文件存储系统中；基于HDFS分布式文件系统部署分布式数据库，用来承载数据的预统计表和二级
索引表。
在数据搜索层，部署基于Solr分词的全文检索搜索引擎，并通过MapReduce分布式计算框架提供高效数据分析速度。
Zookeeper提供分布式文件系统之间的多进程协调服务。
数据写入、检索、统计和研判应用，大数据平台提供统一的webservice接
口，智能交通管控平台通过调用大数据平台接口进行处理应用。
1.2.1云分析数据处理流程
云分析可以采用的工作模式主要包括主动工作模式和被动工作模式。
目前采用的是被动工作模式。
主动工作模式的特点是中央强力控制，即由中心管理服务下派任务到指定的计算节点，计算节点没有发起任务申请的权利。
被动工作模式则相反，由计算节
11
点主动向中心管理服务发起申请，申请获得批准后获得执行任务，然后开始任务执行，任务执行过程中与中心管理服务保持实时更新，确保任务能够正常完成。
被动工作模式相比主动工作模式而言能够突出计算节点的优势，管理单元越小，管理的难度也就越小。
如果按照主动工作模式，由中心管理服务全部承担任务分派、任务调度等功能，负载、责任过大，容易造成单点失败。
即便采用集群方式或者单点灾备模式，依然没有真正解决负载过重、任务调度节点易失败等情况。
被动工作模式把任务申请职责交给了计算节点，各个计算节点按照自己的实际情况决定是否发起任务申请，这样可以有效地避免计算节点出现计算资源使用率频繁切换、异常波动，同时，降低了中心管理服务的压力。
任务调度方面，云分析通过接入第三方应用平台，实时获取执行任务信息，然后通过中心服务管理动态调度任务的方式达到高优先级任务优先执行的目的。
对于计算节点来说，它申请获得任务没有优先级之分，一旦申请成功，立即转入工作状态。
同时，由于云分析节点是分布式部署，系统高并发执行的效果可以有效的提高分析执行效率、优化网络带宽的流量压力，使得整个监控系统的性能得到更大的提升。
1.2.2大数据数据处理流程
大数据技术平台是大数据的存储和计算中心，具有分布式、统一存储、统一访问、动态扩容的特点，用于汇集视频、图像、报警、卡口信息、位置信息、事件等大数据，为数据的综合利用提供支撑。
1.3交通大数据平台功能
1.3.1快速检索
针对过车记录表及违法记录表有针对车牌的精确查询及模糊查询需求，如
下：
1、过车记录精确查询
车牌结合过车时间（开始时间+截止时间）、根据选择卡口、车道、方向、车辆标识、颜色深浅、车辆类型、车速、车长、号牌段、车身颜色、车牌颜色等其它筛选条件随意组合在海量过车记录数据中对车牌做精确查询并且要求在秒级内返回查询结果。
2、过车记录模糊查询
12
车牌结合过车时间（开始时间+截止时间）、根据选择卡口、车道、方向、车
辆标识、颜色深浅、车辆类型、车速、车长、号牌段、车身颜色、车牌颜色等其
它筛选条件随意组合在海量过车记录数据中对车牌的前缀、中间、后缀做模糊查
询并且要求在秒级内返回查询结果。
3、违法记录精确查询
车牌结合过车时间、车辆类型、车辆颜色、车牌类型、车牌颜色、违法行为、处理状态等其它筛选条件在海量违法过车记录数据中做精确查询并且要求在秒级内返回查询结果。
4、违法记录模糊查询
车牌结合过车时间、车辆类型、车辆颜色、车牌类型、车牌颜色、违法行为、
处理状态等其它筛选条件在海量违法过车记录数据中对车牌的前缀、中间、后缀做模糊查询并且要求在秒级内返回查询结果。
5、轨迹查询
查询车辆在特定的时间段内的行车轨迹：
即在某个时间段内（根据场景，还可以设置车辆类型、颜色深浅、车牌类型、车牌号码、车速、车长、号牌段、车身颜色、车牌颜色等限制条件），同时经过多个卡口（至少两个以上才能确定一条轨迹）的过车信息。
6、快速统计
针对过车记录表及违法记录表有如下统计需求：
过车记录表车流量统计
以卡口（或车辆类型、车辆归属）为维度结合统计时间、方向、车辆归属地、车辆类型、车牌类型等特定筛选条件对过车记录做统计，生成相应日（或周、月、年）报表：
即根据设定的维度，还有根据报表类型分割的时间粒度，统计各个时
间区间内的车流量。
过车记录表车流量对比
同一个卡口不同时间段（跨度在1天内）的车流量对比以及不同卡口同一时间段（跨度在1天内）的车流量对比。
通过车流量对比能够对改善城市交通调度提供依据。
违法记录表车辆违法统计
13
选定一组卡口，在选定的开始时间和结束时间内，统计各卡口所有的过车记录数和违法记录数。
过车记录表特定时间段车流量统计
同车流量对比，时间颗粒度变成一天，并且可以选定一天中具体的若干个时间段。
过车记录车辆行车轨迹统计
根据选定统计方式（即统计维度：
包括按车牌类型统计、车牌颜色统计），统计在选择的时间段内，经过指定轨迹（所谓的轨迹：
即由多个卡口确定的一条行车路径，带方向，比如，从路径A->B->C,和路径C->B->A是俩条不同的轨迹）的车流量次数（还包括其他的过滤条件，如：
车辆归属地、车辆类型、车牌类型、车牌颜色，同一车牌多次经过指定轨迹按多次计算）。
1.3.2研判分析
1、过车记录表频度研判
分析出在特定卡口上（一个或多个），在特定时间段内，过车次数满足一定
条件的所有过车信息和过车数：
所谓的满足一定条件是指过车次数大于等于（或小于等于或等于）（频度设置）一定数量（频度阈值），根据设定的频度阈值
升级会员 