交通管控大数据分析研判系统.docx

1、交通管控大数据分析研判系统交通管控大数据分析研判系统设计方案1 系统概述1.1 系统背景随着经济迅猛发展，机动车辆不断增加，道路交通拥堵、交通肇事现象也越来越严重。交通管理部门部署了大量交通监控设备对道路交通情况进行监控，这些设备24小时不间断捕获过车数据和图像数据，产生了海量的历史记录。在此情况下，如何利用先进的技术手段，对交通监控设备采集的海量的、格式多样的数据进行深度分析应用，对海量数据进行查找、关联、比对等处理，实时发现其中潜在的问题并预警,成为当前迫切需要解决的问题。主要体现在以下两个方面：一是交通管理部门的现有系统还处于结构化数据处理模式架构体系中，要实现对城市道路交通的整体运行状

2、况、车辆出行规律等方面以日、月甚至年为时间粒度进行数据分析还存在不足。二是交通管理部门的现有系统在对这些具有逻辑关联的海量多源异构数据处理过程中，数据存储结构、处理种类、处理效率等方面仍存在不足，不能满足持续扩大的交通管理数据规模以及对数据深度快速挖掘和应用需求。 交通管控大数据平台构建了一个支持横向扩展，具有分布、并行、高效特点的大数据处理平台的体系架构。综合运用云计算、云存储、并行数据挖掘、图像识别等技术，开展数据的存储、挖掘、联动、分析。通过将电子监控设备的数据、图像等异构的数据资源接入大数据处理平台，通过分布式存储和并行数据挖掘，提供在线实时分析模式和离线统计分析模式两种应用模式，对交

3、通管理的各类大数据全方位地进行实时和离线分析处理。可以将隐藏于海量数据中的信息挖掘出来，可全面掌握道路通行情况，为策略制定、分析研判、行动部署提供依据，大大提升综合管理的集约化程度。1.2 系统意义（1）信息查询和预警分析借助在线实时分析、离线统计分析和数据共享等手段，通过接口与集成指挥平台等各个业务系统关联，高效开展交通管理工作。例如通过分析一段时间内的过车信息进行查询分析对比，确定该时期造成交通拥堵的主要原因和发展趋势，对交通拥堵的发生进行一定的预测和判断，并采取相应的管控措施控制诱发交通拥堵的原因，科学预防交通拥堵。（2）多维度布控打击违法犯罪通过车辆特征二次识别比对，可对特定车辆的局部

4、特征进行提取分析和建模，在车辆号牌信息缺失（套牌、遮挡号牌或无牌）情况下，按照车辆品牌、型号、颜色、类别以及局部特征等自定义组合布控报警，准确快速地实现特定车辆追踪与锁定，获取车辆真实行踪，将有价值的图片数据提供给公安刑侦部门，为侦破交通肇事逃逸案、利用机动车作为犯罪工具的刑事案、以及抢劫出租车等恶性案件提供线索和证据，为刑侦部门确定线索侦查破案提供支持。（3）大粒度的数据分析为决策提供支持通过交通流大数据采集存储、流量查询分析，车辆特征研判、车辆轨迹分析等深度应用，系统不仅仅可以实现对车辆和人员的分析研判，通过大量数据的积累和变化规律进行深度的信息挖掘，帮助决策者和管理者提供有价值的线索信息

5、，同时结合车驾管数据库，开展交通信息综合分析研判。1.3 研发原则项目建设总体上坚持“结构上的整体性、技术上的先进性、使用上的稳定性、经济上的合理性、实施上的安全性、操作上的友好性、升级上的可拓展性”原则，建设综合信息的统一管理、展示、控制平台，制定安全可靠的集成规范，完成各业务系统的智能协调联动功能，实现资源集成、数据集成、业务集成、控制集成和展现集成。1、实用性原则项目采用技术和解决方案应该具有很强的实用性，系统建设应始终贯彻面向应用、注重实效的方针，坚持实用、经济的原则。2、先进性原则采用先进、成熟的方法和技术，各种先进方法和手段应该充分考虑阜阳市社会可行性、法律可行性、管理可行性、技术

6、可行性。既注意概念、技术和方法的先进性，又要注意成熟性。使项目能反映当今的先进水平，并具有一定的发展潜力。3、资源共享信息资源共享是本项目的主要项目目标之一，需要注意本项目与业主方已建智能交通信息化成果之间的信息互联与资源共享。4、可持续性系统设计采用合理的、有弹性的架构，并预留有一定的接口，保证系统能进行不断的完美和扩展。5、开放性和标准性注意遵循相关的技术标准和行业标准，并采用合理的系统架构，不采用垄断技术，保证系统的开放性和标准性。6、可靠性和稳定性从系统结构、技术措施、设备性能、系统管理、厂商技术支持及维护能力等方面着手，确保系统运行的可靠性和稳定性，达到设计的最大平均无故障时间。7、

7、安全性和保密性在考虑信息资源的充分共享的同时，注意对信息的保护和隔离，采用系统安全机制、数据存取的权限控制等方案解决系统安全性问题。8、扩展性和易维护性采用先进的软件工程理论、良好的系统设计，以及分层和代理的方法等方法，保证实现的系统层次清晰、模块合理，接口协议开放，保证系统的扩展性和易维护性。1.4 系统内容交通管控大数据平台由5类服务器组成，包括：数据接入服务器、数据库服务器、流处理服务器、二次识别服务器、应用服务器。（1）数据接入服务器：统一接入卡口、电警过车数据和过车图片，并按大数据架构统一转换管理。（2）数据库服务器：管理节点作为主服务器，管理Hadoop文件系统的命名空间和客户端对

8、文件系统的访问操作。可进行节点安装、配置、服务配置等，对Hadoop服务器进行实时状态检测。数据节点管理存储的数据，支持PB级数据和图片存储和数据索引管理。（3）流处理服务器：基于Spark的大数据云计算技术，支持高速查询和低延时的统计能力，实现亿以上的过车记录大数据量秒级检索能力。（4）二次识别服务器：于大数据下深度学习的图像识别技术，支持车辆号牌、品牌型号、车身颜色、车辆型号等信息关联比对。（5）应用服务器：部署交通管控大数据平台系统软件和数据发布软件。2 需求分析2.1 业务需求2.1.1 面向交通管理的大数据业务需求随着城市交通拥堵问题顽固化、复杂化和多样化，交通管理工作面临着从事后分

9、析向事前研判预警拓展、从历史统计向在线分析挖掘拓展、从简单应用向综合服务评价拓展的内在需求发展方向。并对管辖范围内的车辆出行规律等方面以日、月年为时间粒度进行实时和历史统计分析，并对现有信息开展任意范围内的快速检索和实时统计分析，并将结果可视化显示。2.1.2 面向交通安全的大数据业务需求管理路面违法、假/套牌、肇事车辆、黑车等重点布控车辆、维护交通安全和事故处理是交管部门的另一项行政管理职能。基于大数据系统，通过大量历史数据对涉案车开展比对，形成对涉案车辆行为的分析及涉案车辆的匹配分析，为精确打击违法行为提供证据，按照车辆特征进行布控，有效提升现有违法查处的精准打击和查缉布控能力。2.2 功

10、能需求2.2.1 基于大数据的在线统计和离线分析需求以总量统计、信息查询等业务数据检索的后台软件模块为支持，通过大数据系统备份或抽取历史数据资源，重构数据结构，并为每一种应用添加算法模块，实现对大批量信息检索及统计分析的实时处理。2.2.2 基于大数据的车辆特征分析需求 以基于海量卡口数据获取车辆出行OD，挖掘车辆通勤出行行为，分析车辆通勤行为特征与交通拥堵相关性分析，研究拥堵路段车流集散、车辆属地属性发展变化规律。准确统计道路交通、卡点进出车辆流动情况，为合理调配警力、提高车辆管理水平提供科学依据。2.2.3 基于大数据的违法事故分析需求基于大数据系统进行违法和事故数据的关联分析，从不同视角

11、研究违法和事故成因，定期将交通违法、事故的相关驾驶人特征与车辆特征进行分析，按类掌握违法、事故中高发、易发的驾驶人与车辆，为重点管理的群体提供数据支撑。通过大数据平台对交通违法、事故数据及属性开展关联分析，定期将违法、事故与驾驶人特征，包括培训考试过程、工作单位、家庭背景等因素，与车辆特征，包括品牌、车型、营运性质、号牌属地、车身颜色、车辆保养等因素，与道路特征，包括道路类型、线性、天气、时间、环境、设施等相关联的，集中分析掌握违法、事故中高发、易发的驾驶人、车辆和道路，为管控提供最为真实的资料和依据。2.2.4 基于大数据的勤务快速处置需求在岗执勤民警通常负责的是一个区域的交通管理工作，很难

12、掌握管辖区域内所有路口路段的实时交通状况。基于对过车流量特性的大数据分析，可为交管人员分析管辖区域内交通流量情况，为在岗执勤民警提供更加准确的拥堵点，有助于交管人员日常勤务安排和以及上下游及时联动和快速反应。2.2.5 基于大数据平台的车辆特征二次识别需求过车图片里面包含了很多信息，这些信息是卡口设备本身无法有效识别出来的信息，例如车辆品牌、车辆型号等。基于大数据系统的车辆特征二次识别技术从根本上克服了传统车辆检索只能按照号牌进行单一查询的功能缺陷，实现了按照车辆品牌、型号、颜色、类别以及局部特征等自定义组合查询和模糊查询强大功能。在不改变现有卡口设备的情况下，就能够挖掘出更多的车辆特征，便于

13、实现更多应用，有效利用了现有卡口设备，降低不必要的卡口重建投入。2.2.6 基于大数据平台的技战法需求 通过过车图片、行驶行为特征分析和人员、车辆档案关联分析，确定各类涉案人员/车辆的详细信息。以全库精细搜索和模糊查询，实现一定时间内经过各采集点特定车辆行车轨迹分析，记录轨迹路线信息并在GIS地图中进行可视化展示和报警，形成行驶轨迹数据的高速检索。对同一辆车在多个监控点出现的轨迹进行时空分析，实现对任意时间和地区范围内重点车辆行驶规律的分析研判，并预测一定时间内高概率出现的区域。2.3 性能需求2.3.1 高并发实时数据采集需求采用Kafka消息队列，良好兼容Hadoop系统，可通过SQL访问

14、，延迟在2秒内。2.3.2 海量数据存储需求采用Hadoop和HDFS文件系统，具备PB数据级别的在线存储能力，数据容量可动态扩展。2.3.3 分布式流处理需求采用Spark Streaming，支持分布式数据集上的迭代作业，每一个批次的数据的时间间隔在100ms。2.3.4 车辆二次识别需求可检测200万、300万、500像素的图片，单张图片处理速度平均为0.1S，单台日处理最多为80万张，检测正确率85%。3 架构设计3.1 总体应用架构交通管控大数据分析研判平台分为数据层、采集层、处理层、存储层、应用层等层次架构。系统总体结构如下：采集层：通过设备系统接口或稽查布控系统接口，通过kafk

15、a消息总线接入所辖范围内的设备上报的车辆通行文本信息、图像信息、设备状态信息。处理层：系统通过Spark流计算模块，对海量过车数据进行二次比对分析，流计算模块根据系统设置的报警条件，可实时进行多种比对计算。存储层：包括Hadoop数据库，用于存储海量结构化数据和非结构化数据。可通过动态增加节点，提升吞吐能力，扩展存储、查询、分析性能。应用层：包含实时预警、信息检索、信息查询、统计分析、技战法分析、车辆布控等功能。3.2 软件框架结构3.3 网络部署架构平台部署在公安网内，设备专网数据通过边界交换平台进入公安网，数据库服务器、流处理服务器、二次识别服务器可根据数据量规模动态调整。如下图所示：3.

16、4 数据流结构平台通过Kafka消息总线汇聚各类道路交通信息、通过Spark进行实时流计算，通过HBASE/HDFS进行分布式存储，通过MapReduce进行分布式计算，通过应用服务器的数据接口，将结果分发给集成平台和各类基础应用系统，进行信息检索和分析研判。如下图所示：3.5 关键技术路线平台采用X86架构通用服务器、“云计算-分布式”架构，实现实时流式计算、分布式数据存储、高性能并发读写以及分布式计算机分析挖掘。与六合一、PGIS、等平台有机结合、一体化应用。流数据处理软件支持Kafka消息队列，良好兼容Hadoop系统，可通过SQL访问，延迟在2秒内；高可靠、高容错、高扩展、高吞吐、充分

17、利用系统资源。支持小批量处理模式，每一个批次的数据的时间间隔可以短至500毫秒。系统数据库服务器操作系统可选用UNIX、WINDOWS，数据库采用Oracle，要求10g以上版本。应用服务器操作系统可选用WINDOWS、UNIX、LINUX，应用中间件采用Tomcat或WebSphere，Tomcat要求版本6.0以上，WebSphere要求6.1以上版本。系统技术实现架构采用JAVA；具体应用上采用以B/S多层架构的分布式应用架构。3.5.1 Hadoop技术Hadoop实现了一个分布式文件系统(Hadoop Distributed )，简称HDFS。HDFS有高容错性的特点，并且设计用来部

18、署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streaming access)文件系统中的数据。优点如下：Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行

19、处理加快处理速度。Hadoop 还是可伸缩的，能够处理PB级数据。此外，Hadoop 依赖于社区服务，因此它的成本比较低，任何人都可以使用。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:Hadoop带有用Java语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C+。3.5.2 Spark技术Spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。Spark非常小巧玲珑，由加州伯克利大学AMP实验室的Mat

20、ei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码只有63个Scala文件，非常短小精悍。Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。尽管创建 Sp

21、ark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为Mesos的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。Spark 集群计算架构：虽然 Spark 与 Hadoop 有相似之处，但它提供了具有有用差异的一个新的集群计算框架。首先，Spark 是为集群计算中的特定类型的工作负载而设计，即那些在并行操作之间重用工作数据集（比如机器学习算法）的工作负载。

22、为了优化这些类型的工作负载，Spark 引进了内存集群计算的概念，可在内存集群计算中将数据集缓存在内存中，以缩短访问延迟。Spark 还引进了名为弹性分布式数据集(RDD) 的抽象。RDD 是分布在一组节点中的只读对象集合。这些集合是弹性的，如果数据集一部分丢失，则可以对它们进行重建。重建部分数据集的过程依赖于容错机制，该机制可以维护 血统（即允许基于数据衍生过程重建部分数据集的信息）。RDD 被表示为一个 Scala 对象，并且可以从文件中创建它；一个并行化的切片（遍布于节点之间）；另一个 RDD 的转换形式；并且最终会彻底改变现有 RDD 的持久性，比如请求缓存在内存中。Spark 中的应

23、用程序称为驱动程序，这些驱动程序可实现在单一节点上执行的操作或在一组节点上并行执行的操作。与 Hadoop 类似，Spark 支持单节点集群或多节点集群。对于多节点操作，Spark 依赖于 Mesos 集群管理器。Mesos 为分布式应用程序的资源共享和隔离提供了一个有效平台。该设置充许 Spark 与 Hadoop 共存于节点的一个共享池中。3.5.3 车辆特征二次识别技术运用车辆特征识别技术对公路电子监控（卡口）和电子警察图片进行二次识别，采集车辆号牌、品牌型号、车身颜色、车辆型号等信息，通过后台实时比对，准确发现假牌、套牌等违法嫌疑车辆，通过提取车辆特征信息准确定位唯一车辆。4 功能设计

24、4.1 功能结构图4.2 功能模块4.2.1 首页4.2.1.1 过车总量（1）功能描述在首页显示当日过车和最近7天过车总量并在地图标注卡口点位。（2）功能界面（3）程序逻辑饼图：展示当天卡口过车总数，并按照车辆类型分类进行统计。曲线图：显示全市卡口最近7天/30天的过车总量过车曲线图。地图：与饼图联动，点击饼图区域，地图高亮标示，所有涉及的卡点。更多：点击进入车辆查询界面。4.2.1.2 车型车系（1）功能描述用图表显示当日所有监测点的车型、车系分类。按照总量倒序排列。（2）功能界面（3）程序逻辑车辆类型维护：在系统维护模块，可以对六合一的车辆类型进行合并，多个六合一车辆类型，对一种本系统的

25、车辆类型。车系维护：在系统维护模块，可以对人工采集的车辆品牌，车辆型号，通用名称，进行维护。车辆类型更多：点击进入车型统计界面。车系类别更多：点击进入车系统计界面。4.2.1.3 过车流量（1）功能描述显示全市7天过车和当日各点位过车记录。 （2）功能界面（3）程序逻辑过车量曲线图-更多：点击进入全市流量统计界面。过车地点曲线图-更多：点击进入卡点流量统计界面。4.2.1.4 套牌预警（1）功能描述实时显示当日车牌识别的报警信息，用表格显示。按时间倒序排列。（2）功能界面（3）程序逻辑只显示异常过车，正常过车不显示，显示最新的20条，实时刷新。语音报警：喇叭图标控制是否语音报警。当前播报的条目

26、行黄色标注。更多：链接到假/套牌过车统计。4.2.1.5 布控报警（1）功能描述显示当日已经布控的车辆，经过卡口时的记录信息。（2）功能界面（3）程序逻辑布控车辆经过是，显示报警信息，显示最新的20条，实时刷新。包含2类数据：外界导入系统的数据（黑名单，盗抢车辆库，在逃人员库）和系统内部布控的数据，需要审核过的才能报警，也可以布控时候勾选免审核选项。语音报警：喇叭图标控制是否语音报警。当前播报的条目行黄色标注。4.2.1.5 布控统计（1）功能描述显示截止当前有效的，正在布控的类别和布控的条数。（2）功能界面（3）程序逻辑布控数量更多：链接到布控数量统计布控类型更多：链接到布控类型统计4.2.

27、2 实时预警4.2.2.1 套牌、布控报警（1）功能描述实时预警主要是用于监控套牌车辆信息，布控车辆信息并提供报警功能。（2）功能界面（3）程序逻辑侧边栏：显示套牌预警布控报警。假/套牌预警更多：链接到假/套牌过车统计界面。布控报警更多：链接到报警查询界面。语音报警：喇叭图标控制是否语音报警。当前播报的条目行黄色标注。走马灯:在任务栏走马灯显示最新条目，双击播报并地图居中定位过车卡口。对于盗抢和在逃等违法车辆经过时，该记录以红色背景显示显示并自动语音播报。详细信息：可链接到机动车信息查询、机动车违法查询、驾驶人信息查询、驾驶员关联信息查询、当日轨迹。删除按钮：从界面移除误报或不需要报的车辆。4

28、.2.3 信息查询4.2.3.1 机动车公告信息查询（1）功能描述搜索不同品牌不同车系的车辆公告信息，包括图片和文字信息（2）功能界面（3）程序逻辑可根据给定的查询条件查询车辆信息。更多：可跳转到人员车辆信息等相关查询界面。4.2.3.2 机动车基本信息查询（1）功能描述查询机动车基本信息，包括图片和文字信息。（2）功能界面（3）程序逻辑车辆登记图片：需调用车辆登记图片查询接口是否关联事故 是否关联违法：链接到事故查询和违法查询界面。更多：可跳转到人员车辆信息等相关查询界面。4.2.3.3 驾驶人基本信息查询（1）功能描述查询驾驶人基本信息，包括图片和文字信息。（2）功能界面（3）程序逻辑驾驶

29、人图片：需调用公安人员查询接口。是否关联事故 是否关联违法：链接到事故查询和违法查询界面。更多：可跳转到人员车辆信息等相关查询界面。4.2.3.4 驾驶员关联信息查询（1）功能描述根据身份证编号查询公安接口，查询是否在逃人员，是否前科人员，是否重点人员，并显示详细信息。（2）功能界面（3）程序逻辑更多：可跳转到人员车辆信息等相关查询界面。问题人员对其拥有的车辆，可以加入黑名单布控。4.2.3.5 机动车违法信息查询（1）功能描述查询机动车违法信息，包括图片和文字信息。（2）功能界面（3）程序逻辑有违法行为的车辆，可根据其违法类型加入黑名单布控。更多：可跳转到人员车辆信息等相关查询界面。4.2.

30、3.6 驾驶人违法信息查询（1）功能描述查询驾驶人违法信息，包括图片和文字信息。（2）功能界面（3）程序逻辑更多：可跳转到人员车辆信息等相关查询界面。4.2.3.7 机动车轨迹查询（1）功能描述在地图上标注车辆出行经过卡口的时间、地点等信息。（2）功能界面（3）程序逻辑多轨迹：可多次查询轨迹信息，在地图叠加显示。布控：对于问题车辆可以直接布控4.2.3.8 车系搜车（1）功能描述根据（车型、车系、颜色、年款）等特征信息，对全市范围的卡口查询过车信息和图片信息。（2）功能界面（3）程序逻辑布控：对于问题车辆可以直接布控。轨迹： 机动车轨迹查询界面。4.2.3.9 以图搜车（1）功能描述根据过车图

31、片，对全市范围的卡口查询过车信息。（2）功能界面（3）程序逻辑图片：可通过上传方式或者通过系统内其他页面跳转方式提交。布控：对于问题车辆可以直接布控。轨迹： 机动车轨迹查询界面。4.2.3.10 交通事故信息查询（1）功能描述查询车辆、人员是否涉及事故，以及具体的事故信息。（2）功能界面（3）程序逻辑查询条件：事故信息主表、事故信息人员表。更多：可跳转到人员车辆信息等相关查询界面。4.2.3.11 被盗抢车辆信息查询（1）功能描述根据号牌号码、号牌种类、发动机号、车架号查询车辆盗抢信息。（2）功能界面（3）程序逻辑更多：可跳转到人员车辆信息等相关查询界面。4.2.3.12 机动车保险记录查询（1）功能描述根据号牌号码、号牌种类、发动机号、车架号查询车辆保险信息（2）功能界面（3）程序逻辑更多：可跳转到人员车辆信息等相关查询界面。4.2.3.13 重点/在逃人员查询（1）功能描述根据身份证号查询是否在逃人员、重点人员信息。（2）功能界面（