智慧城镇 智能交通建设方案.docx

智慧城镇 智能交通建设方案.docx

《智慧城镇 智能交通建设方案.docx》由会员分享，可在线阅读，更多相关《智慧城镇 智能交通建设方案.docx（70页珍藏版）》请在冰豆网上搜索。

智慧城镇智能交通建设方案

智慧城市建设方案

智能交通建设方案

1系统总体设计

1.1云计算系统设计方案概述

1.1.1系统基本功能

按照全省公安机关信息化建设总体规划，为实现对重点车辆的自动比对和动态管控、对异常车辆行踪的自动研判预警、对特定车辆行车轨迹的自动生成、对重要节点道路交通信息的远程再现、对基层单位和执勤民警的勤务实施管理等建设目标，为交通管理、治安管控、侦查破案、巡逻防范、反恐处突等各项公安工作提供服务保障。

系统的基本功能和性能如下：

海量数据存储

能够对百亿级的海量交通监控数据进行存储，保存时间为2年。

海量数据实时处理、实时入库、生成索引

能够对百亿级的海量交通监控数据进行实时处理，能够处理每天500万条记录，能够实时处理约60条/秒的实时数据流量。

百亿级数据秒级查询能力、秒级实时业务响应

高效实时数据查询架构，提供秒级响应时间，1天的记录能在5秒钟内查询出来，一周记录能在15秒内查询出来。

1.1.2主要设计思想和设计目标、设计原则

设计思想：

将海量数据分解到由大量X86架构计算机构成的低成本云计算平台上进行实时处理，依靠分布式云计算软件进行容错，从而提升智慧交通云平台海量数据分析的实时性和性价比。

设计目标：

利用大量性价比高的计算机，建立云计算平台，能够对流量超过500w条/天的原始交通监控数据流进行实时处理。

系统具有可动态可伸缩性、高度容错性和响应实时性，达到较之传统方案有一个数据量级的性能价格比提升。

设计原则：

（1）前瞻性技术与实际应用环境相结合

本项目是既是先进技术应用示范项目，又是工程实施型项目。

把握技术正确性和先进性是前提，但是前瞻性技术实施必须在云计算平台的实际应用环境和实际监控流量的基础上进行，必须结合云计算平台的实际情况进行研究和开发，只有与实际应用环境相结合才有实际应用价值。

（2）学习借鉴国外先进技术与自主创新相结合

在云计算平台用于超大规模数据处理方面，国内外几乎是在一个起跑线上；但在关键技术研究及既往的技术积累方面，国外一些大公司有着明显的优势。

同时，智慧交通云平台所将要面对的交通监控数据流高达500w条/天，是一个世界级的云计算应用。

我们将积极学习借鉴国外先进的云计算技术，同时与自主创新相结合，形成功能强大、性能卓越的能够满足实际应用环境需求的云计算数据处理和分析平台。

（3）遵循公安320工程相关标准规范

本项目的设计将严格遵循公安320工程相关标准规范。

1.1.3智慧交通云平台的云计算解决方案

在公安网内部，构建若干X86架构计算/存储节点，虚拟出海量存储空间、处理能力和数据管理能力。

同时研制面向应用的分布式数据处理软件，满足数据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等应用需求。

图表1智慧交通云平台云计算解决方案

1.1.4系统的主要技术特点

实时性：

平台在高效率并行分布式软件的支撑下，可以实时完成交管数据入库、分析和管理工作，如数据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等。

海量数据入库不会出现数据堆积现象，各类分析和查询工作基本都在秒级完成，具有前所未有的高效性。

高可靠性：

基于对云计算可靠性深厚的研究积累，彻底解决了当前分布式计算平台易出现的单点故障问题。

任何一个节点出现故障，系统将自动屏蔽，而且不会出现丢失数据的现象。

包括查询任务分配节点、计算任务分配节点、HDFS元数据节点、HDFS数据存储节点、MapReduce JobTracker节点、MapReduceWorker节点、HBase管理节点、HBaseRegion节点等。

可伸缩性：

在不停机的情况下，增加节点，平台的处理能力自动增加；减少节点，平台的处理能力自动缩减。

这样，可以做到与云计算平台的无缝对接，根据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。

高性价比：

采用X86架构廉价计算机构建云计算平台，用软件容错替代硬件容错，大大节省成本。

在目标性能和可靠性条件下，可比传统的小型机加商用数据库方案节省10倍左右的成本。

全业务支持：

采用分布式数据库模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库中，可支撑各种类型的业务。

不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业智能分析业务。

1.2系统总体构架

1.2.1系统基本组成与构架

智慧交通云平台是一个处于交管数据采集与交管数据监测应用之间的系统。

从系统基本组成与构架上来看，该共享平台由7个主要部分组成：

历史数据汇总处理系统，上报数据上报系统，实时数据入库系统，交管数据存储系统，交管数据查询分析应用系统，数据管理系统以及系统管理。

1.2.2系统功能构架

智慧交通云平台需要提供的7大主要功能描述如下。

（1）历史数据汇总处理系统

历史数据汇总处理主要负责把南京市6个分散的数据中心的历史数据，进行读取解析处理，并将处理后的历史数据汇入一个统一的数据中心。

在内部处理模块上，历史数据汇总系统主要包括三个模块：

读取模块、解析模块和汇总模块。

读取模块主要负责各个数据中心历史数据的读取处理，解析模块主要负责把读取到的历史数据解析成合理的数据格式，而汇总模块主要负责把解析好的历史数据上传到统一的数据中心。

在系统构架上，为了满足6个分散的数据中心处理需要，需要在每一个数据中心处安装一个数据汇总程序。

（2）上报数据上报处理信系统

上报数据上报处理负责把市数据中心的数据，按照一定的需求（按时间段或一定的数据量），上报给省厅数据中心。

在内部处理模块上,上报数据上报系统主要包括三个模块：

读取模块、解析模块和上报模块。

读取模块主要负责市数据中心需要上报数据的读取处理，解析模块主要负责把读取到的数据解析成合理的数据格式，而上报模块主要负责把解析好的数据上传到的省厅数据中心。

在系统构架上，为了满足市数据中心处理需要，需要在市数据中心处安装一个数据上报程序。

而省厅数据中心需要提供数据上报的接口。

（3）实时数据入库系统

实时数据入库系统主要负责全市每个卡口产生的数据实时入库。

在内部处理模块上，实时数据入库系统主要包括三个模块：

接受模块、解析模块和数据入库模块。

接受模块主要负责接收每个卡口产生的数据流，解析模块主要负责把接受到的数据流解析成合理的数据格式，而数据入库模块负责把解析好的数据加入到市数据中心。

在系统架构上，为了使每个卡口的数据能实时入库市数据中心，需要在每一个负责接受卡口数据的工控机上安装一个实时数据入库系统。

（4）交管数据存储系统

原始交管数据，将全部存储在智慧交通云平台的云存储资源中。

资源池提供两种存储资源：

一种是结构化数据存储资源，用于存储少量的接口中间数据；另一种是分布式文件系统，用于存储海量的非结构化数据。

为了满足和适应数据量、数据特征和查询处理的不同需求，将采用一种混搭式的数据存储方案。

对容量巨大、常规数据库难以处理的数据，如交管数据，将主要存储在基于HDFS的分布式文件系统中；这些数据将通过HDFS接口进行访问和计算处理。

而对于部分数据量不大、且查询响应性能要求很高的数据，如用于报警比对的中间数据，将被存放在关系数据库中。

关系数据库将采用SybaseASE版本。

这些数据将通过结构化数据存储访问接口（如JDBC）进行访问。

在存储构架上，若以存储3年的原始交管数据、报警信息数据和针对快速查询建立的索引数据，在10000条/s的交管数据流量下，将大约需要512TB的存储容量，按照每个存储节点16TB的存储容量，加上少量的冗余节点，将需要32个存储节点。

（5）交管数据查询分析应用系统

交管数据查询分析应用主要提供包括实时监控、报警监控、车辆轨迹与回放、电子地图、报警管理、布控管理、设备管理、事件检测报警、流量统计和分析等功能。

车辆轨迹查询处理时，由于交管数据量巨大，难以存储在常规的关系数据库中，而如果直接存储在HDFS或HBase中又难以保证查询效率。

为此，需要考虑对交管数据进行索引处理，并将索引数据存储在HDFS或Hbase中。

为了建立交管数据索引，需要在交管数据传送到云存储系统中时，进行实时的索引处理。

但由于交管数据流量巨大，需要调度使用多台服务器节点进行并行处理。

此外，用户从客户端发起以上各种数据查询分析任务时，也会产生大量并发的查询任务。

以上各种查询分析计算任务的处理将需要考虑在计算集群上进行并行化任务调度和负载均衡处理。

这些并行计算任务及负载均衡处理将使用Zookeeper基于计算集群完成统一的控制和实现。

在系统构架上，以上查询分析计算任务将需要使用一个大规模数据并行计算集群。

在编程实现上，存储在数据库中的数据将使用常规的数据库查询语言实现；对存储在分布式文件系统中的交管数据，针对不同的处理要求，在数据量极大而处理实时性要求不是特别高的情况下，为了方便对海量数据的并行处理，将采用MapReduce编程方式实现；而对于那些实时性要求很高的查询分析计算，由于MapReduce启动作业需要较长的时间开销，将不适合采用MapReduce编程实现，而需要用非MapReduce编程方式实现。

（6）数据管理系统

在实际使用中，可能用户会对某一时间段或者类型的数据特别关心，就可以通过数据管理系统查询并导出这部分数据以供使用。

包括数据查询和数据导出两大部分。

数据查询让用户以自定义的条件查询出数据，而数据导出就是将这些数据以合理的格式导出到数据中心以外。

（7）系统管理

系统管理主要包括智慧交通云平台的配置管理、系统安全管理、系统用户管理，以及数据备份、系统故障监测复等管理维护功能。

配置管理是其中最主要的部分，是系统各个模块正常运行的基础。

系统应能够对网络地址、设备地址等进行配置；能够对用户做权限管理，以防止数据外泄；并能及时有效的对数据进行备份和故障检测等工作，防止数据的意外丢失。

系统应支持树图、数据表格、网络拓扑图形式展示配置数据。

1.2.3系统总体构架与功能模块

基于以上基本的系统组成和功能构架，系统的详细总体构架和功能模块设计如图所示。

图表3智慧交通云平台总体构架与功能模块图

上图中，自底向上分为五个层面。

最下层是硬件平台层，将使用南京市公安局云计算中心所提供的计算、存储和网络资源。

从系统处理系统的角度看，这一层主要包括云存储计算集群，此外还包括接口和管理服务器、包括用于实现客户端访问的Web服务器。

第二层是系统软件层，包括移动的云存储系统软件，综合分析云计算软件平台，以及Web服务软件等。

云存储系统将提供基于SybaseASE关系数据库的结构化数据存储访问能力，以及基于HDFS的分布式文件系统存储访问能力，分别提供基于JDBC/SQL的数据库访问接口以及HDFS访问接口。

综合分析云计算软件平台可提供对HDFS、Hbase数据的访问，并提供MapReduce编程模型和接口、以及非MapReduce模型的编程接口，以及用于实现并行计算任务负载均衡和服务器单点失效恢复的Zookeeper。

第三层是智慧交通云平台中的数据层，包括原始交管数据、索引数据、用于分析的中间数据、以及系统配置数据等。

其中，原始交管数据、索引数据等海量数据将存储在南京公安局云存储系统的HDFS分布式文件系统中，用HDFS接口进行存储和访问处理；而其它用于分析的中间数据等数据量不大、但处理响应性能要求较高的数据，将存储在云存储系统的关系数据库系统中，用JDBC/SQL进行存储和访问处理。

第四层是交管数据处理软件层，主要完成智慧交通云平台所需要提供的诸多功能，包括实时监控、报警监控、车辆轨迹查询与回放、电子地图、报警管理、布控管理、设备管理、事件检测报警、流量统计和分析、系统管理等功能。

最上层是客户端用户界面软件，主要供用户查询和监视相关的数据信息，除了事件检测报警不需要用户界面外，其它部分都需要实现对应的用户界面。

1.