基于高速公路收费数据的交通流量多维分析技术研究.docx

1、基于高速公路收费数据的交通流量多维分析技术研究基于高速公路收费数据的交通流量多维分析技术研究重庆大学硕士学位论文学生姓名：万金朋导师姓名：孙棣华 教 授专 业：交通信息工程及控制学科门类：工 学重庆大学自动化学院二O一二年四月Study on Multidimensional Analysis of Traffic Flow based on Highway Toll Data A Thesis Submitted to Chongqing Universityin Partial Fulfillment of the Requirement for theDegree of Master o

2、f EngineeringByWan Jinpeng Supervised by Prof. Sun DihuaMajor: Transportation Information Engineering and Control College of Automation of Chongqing University, Chongqing, ChinaApril, 2012摘 要交通流量是反映交通运行状态的主要参数之一，如何科学的分析高速公路的交通流量分布规律是高速公路管理部门面临的重要问题之一。论文在讨论交通流量的获取与交通流量分析的国内外研究现状的基础上，指出目前对于交通流量的采集主要依靠

3、人力或昂贵的硬件设备，高速公路的交通流量很不全面，对于高速公路流量的分析主要依靠经验，缺乏充分的数据和先进技术的支持，无法对交通流量进行多样化、多层次、多角度的分析，管理决策往往缺乏针对性和有效性等缺点。针对上述问题，论文利用现有的高速公路联网收费系统中的收费站出入口数据，提出了一种高速公路断面的交通流量的估算算法，进而采用趋势图、透视表等数据可视化方法对高速公路不同时间、断面以及车型的交通流量数据进行分析，获取其时空分布规律，加深对交通流量数据的理解，有助于进行高速公路交通流量的时空数据挖掘的研究，为有关部门提供科学管理和决策支持工具，支持对高速公路的针对性管理。论文将联网收费系统的收费数据

4、作为分析高速公路断面的交通流量的依据，以整体框架的构建、交通流量的估算处理、相关信息的抽取、交通流量仓库模型研究、OLAP(On Line Analytical Processing)多维数据集的设计、数据仓库和多维数据集的更新为线索展开研究，对于交通流量分析结果，利用OWC(Office Web Component)组件进行多维展示。针对总体框架中需要解决的关键问题进行了深入研究。首先，根据目前高速公路管理部门的数据环境及数据特点，研究了基于DTS（Data Transformation Services）的交通流量数据抽取器，进而提出了一种基于高速公路联网收费数据的多断面交通流量估算方法。

5、其次，对交通流量规律分析的数据仓库模型和OLAP数据库进行了研究，重点分析了交通流量数据的粒度，并对交通流量数据进行了基于粒度的概化，在此基础上，构造了数据仓库的星型模型并完成了物理实现。基于上述数据仓库模型，选取断面、车型、时间作为交通流量分析多维数据集的维度，创建了交通流量分析多维数据集。最后，针对实际应用环境的需要，研究了数据仓库更新的方法和流程。应用上述研究成果，利用重庆市联网收费平台采集的高速公路收费数据，开发了重庆市高速公路断面交通流量规律多维分析系统，具有良好的应用前景。关键词：交通流量分析，收费数据，OLAP，交通流量数据仓库，数据更新ABSTRACTTraffic flow

6、is one of the main parameters to reflect the state of traffic running, How the scientific analysis of highway traffic distribution rule is one of the important issues facing the highway management department. The Paper to discuss traffic flow on the basis of the research status and traffic flow anal

7、ysis, which points out human or expensive hardware for the acquisition of the traffic flow. Highway traffic flow is far from comprehensive, which mainly replys on experience in the analysis of freeway traffic. Lack of adequate data and advanced technology support, which can not be on the traffic flo

8、w, diversified, multi-layered, multi-angle analysis. Management decisions often lack relevance and effectiveness of other shortcomings.In response to these issues, The Paper takes use of the toll station entrances and exits in the data in the existing Highway Toll System and makes a point of a highw

9、ay sections traffic flow estimation algorithm highway sections traffic flow estimation algorithm. Thus it adopts the trends, pivot tables and other data visualization methods,which rsponds to the analysis of the highway at different times, the cross section as well as models of traffic flow data and

10、 access to its spatial and temporal distribution, deeply understands the traffic flow data. It contributes to the highway traffic flow spatio-temporal data mining research,and provides scientific management and decision support tools for the relevant departments. Support targeted on the problem of h

11、ighway traffic flow management. The Paper Toll System charges data as a basis for analysis of traffic flow on the highway section and uses the construction of the overall framework,traffic flow estimation processing, the extraction of relevant information, the design of the OLAP cube, data warehouse

12、 and cube updates provide some clues. For traffic flow analysis, it takes advantage of OWC components of the multi-dimensional to show.Key issues need to be addressed in the overall framework of the in-depth study. First of all, according to the data environment and data characteristics of the highw

13、ay management department, it researchs the traffic flow data extraction based on DTS,and points out a traffic flow estimation method based on the data section of the Expressway Network charges.Secondly,it poses model law analysis of traffic flow data warehouse and OLAP databases,and mainly analyzes

14、the traffic flow data granularity,and the traffic flow data based on the granularity of generalizability.On this basis, it constructes star model of the data warehouse and completes the physical implementation.Based on the above data warehouse model, it selects the section、models、times to make up of

15、 the dimension of the cube as a traffic analysis, and creates a traffic analysis cube.At last , contrary to the practical application of environmental needs, it researches the methods and processes the data warehouse updates. Application of the above research results,it takes advantage of the Chongq

16、ing toll collection of highway toll data platform,and we develope the Chongqing city expressway section traffic rule multi-dimensional analysis system ,which has a good prospect of this application .Keywords: analysis of the traffic flow, charge data, online analytical processing, traffic flow data

17、warehouse, data update目 录中文摘要 I英文摘要 III目 录 51 绪 论 91.1研究的背景 91.2研究的目的及意义 101.3国内外研究现状及分析 101.3.1国外研究概况 101.3.2国内研究概况 121.3.3研究现状问题分析 131.4论文结构 141.5本章小结 152 高速公路交通流量多维分析总体框架 172.1引言 172.2需求分析 172.3设计思想 182.4高速公路交通流量多维分析 182.5关键问题 202.6本章小结 213基于高速公路收费数据的交通流量分析 233.1引言 233.2 断面交通流量估算所需数据的抽取 233.3建立高速

18、公路断面交通流量估算模型 243.3.1数据预处理 243.3.2基础数据调研 253.4 基于收费站数据的道路断面的交通流量估算 263.5 实验及验证 273.5.1实验环境 273.5.2验证及对比 273.5.3实验结果分析 303.6 本章小结 304 基于OLAP的交通流量数据仓库模型 334.1 引言 334.2数据多维分析相关技术基础 334.2.1数据仓库技术 334.2.2数据仓库的多维数据模型 344.2.3 OLAP技术 364.3流量变化规律多维分析数据仓库模型 394.3.1 交通流量变化规律多维分析概念模型 394.3.2 交通流量变化规律多维分析逻辑模型 404

19、.3.3 交通流量变化规律多维分析物理模型 434.4 交通流量OLAP数据库设计 444.4.1 维度及多维数据集选择 444.4.2 交通流量规律多维数据集的创建 454.5交通流量变化规律多维分析数据仓库和多维数据集更新方法研究 454.5.1 数据仓库更新 454.5.2 多维数据集更新 474.5.3多维数据集更新处理流程 474.6本章小结 485实例分析 505.1 应用环境 505.2 基础数据处理 505.2.1 基础数据 505.2.2 数据预处理 525.3 系统开发中关键问题实现 525.3.1高速公路交通流量数据的估算的实现 535.3.2交通流量数据到数据仓库事实数

20、据的生成的实现 535.3.3多维数据集的生成和更新的实现 535.3.4基于OWC的分析结果的多形式展示的实现 545.4高速公路交通流量规律多维分析结果展现 555.4.1 数据透视表展示 555.4.2 图表展现 585.5 本章小结 596 总结与展望 606.1 总结 606.2 研究展望 60致谢 63参考文献 65附录 69A作者在攻读学位期间发表的论文目录 69B作者在攻读硕士学位期间参与的项目目录 69 1 绪 论1.1研究的背景到2011年底，我国高速公路通车总里程已超过8.5万公里，位居世界第二位1。从高速公路通车里程和路网结构、高速公路密度的增长情况来看，我国高速公路这

21、些年的建设规模和发展速度是空前的，施工水平和建设质量的技术进步也接近于发达国家水平，这使得我国高速公路的整体路网适应能力迅速提高。然而在高速公路的管理和高速公路的信息化建设方面，这些年的技术发展速度相对来说落后于施工技术的发展速度，与发达国家的差距比较明显2。交通数据的采集、整理、应用上远远落后于西方发达国家，表现在没有实现数据资源共享，未形成统一的数据管理模式等方面，致使大量宝贵的基础数据或已有数据没能得以充分利用，造成没有必要的重复、反复采集等一系列问题3。同时由于数据资源的缺乏也造成了交通管理上的不足。对于高速公路的交通流量的分析更是如此，在进行高速公路规划和建设方案研究时，都没有系统的

22、、全面的高速公路网交通流量数据，许多高速公路建设项目在进行工程可行性研究时，都要花费大量的人力、物力进行局部的交通流量调查，同时由于受各种条件的限制其数据也不够准确、全面。不够准确的交通流量数据也极易导致规划或建设项目的失误。高速公路交通参数采集是一项十分重要的基础工作，其采集所得的交通参数是高速公路规划、设计、维修和养护管理不可替代的重要资料，也是评估、决策高速公路总体布局和交通发展战略的科学依据，也是评估经济发展水平的一个重要依据，在规划一个经济区域时，离不开这些交通参数4。80年代初4，高速公路主干道上日交通流量一般不过两千多辆，刚开始的手工计数阶段，人力成本极大，且得出的结果误差较大。

23、改革开放以来，国民经济的快速发展，高速公路交通流量逐年快速上升。交通流量采集方法从原始的手工记数发展到机械计数器和自动观测仪器阶段。90年代中期，环形线圈检测器及相关数据处理软件的出现，彻底摆脱了枯燥、烦琐的人工计数方式，且计算较准确，这是高速公路交通流量采集技术的一次飞跃。到目前为止，全国大部分千线高速公路上的交通流量观测站都安装了这种仪器。随后出现了微波检测器以及光电式检测器等，但是上述方法都存在硬件寿命不长，干扰较大等缺点。近年来随着计算机视觉技术的日益成熟，基于视频的检测技术得到了众多学者和专家的推崇。但是，我们己进入21世纪，当今是高速发展的信息时代，社会对公路交通信息精确、快速和多

24、方位应用的要求，使得现有的技术方式相形见拙。具体来说，有以下不足：(1)采集精度不够高，一般不能分车型采集，数量精度和车型分类精度难以满足2个95%要求；(2)设备稳定性差(受气候影响较大)；(3)线圈检测器需要路面开挖，影响高速公路的正常运行，且不易维护；(4) 一些硬件寿命不长，干扰较大；(5)采集的数据难以快速汇总。1.2研究的目的及意义高速公路交通流量是最基本的交通管理数据，是我国高速公路交通研究与决策的重要依据，是进行高速公路管理的重要基础数据。无论是进行公路规划、制定建设计划、公路建设可行性研究分析、确定公路设计标准、公路养护管理等等，都需要高速公路交通流量作为研究的依据。建立一个

25、全面的、能够反映全省高速公路网交通流量情况的数据库以及分析模型，对于做好高速公路管理的各项工作具有重要意义。而建立高速公路网交通流量数据库，需要进行大量的调查工作，一个完整的全省路网交通流量分析系统，还需要进行全省的路网交通流量调查，一个全省的路网交通流量调查，需动用的人员要上万人，资金投入也很大。这项工作涉及面广，组织复杂、工作量大，需要投入大量的人力、资金，而所调查的数据只是一个时段的交通流量，随着时间的推移，路网的变化和交通流量的不断变化，这些数据将逐渐失去使用的价值。如果将全省高速公路网的联网收费数据分析得到随意断面的交通流量，从而建成动态的、可以根据有关因素适时调整的数据库，则不仅可

26、以充分发挥全省高速公路网交通流量调查的基础数据的作用，而且可以及时提供全省高速公路路网的全面的交通流量资料，这对于做好公路管理、制定规划、计划等工作都将具有十分重要的意义。另一方面，本论文所研究的数据仓库与OLAP(On Line Analytical Processing)技术应用于高速公路交通流量信息化系统的意义是通过高新技术的有效应用，使得对各种决策(包括收费站管理决策、人员评估战略决策、交通方式及交通路线选择决策等)起到支持作用的信息和知识在高速公路交通流量信息化系统中能够有效流通，提高决策的科学性，从而引导合理的交通行为，最大限度地发挥已有交通设施潜力的目的。1.3国内外研究现状及分

27、析1.3.1国外研究概况高速公路作为干线公路的主体，早在20世纪20至30年代就开始在德国、意大利等西方发达国家出现。上世纪50年代中期以后，发达国家就开始有计划、大规模建设高速公路，到目前已经发展到了一个非常成熟的阶段(美国的高速公路网在上世纪80年代基本建设完成)，无论其土建工程还是配套设施的发展都已经非常完善，进而许多发达国家开始重视高速公路的信息化管理、安全性等问题，正向以计算机科学和先进控制技术为基础的智能交通系统发展。国外的高速公路网交通流量数据采集系统大部分也是在高速公路大规模建设阶段日益建设起来，他们的数据资料齐全，在计算机模型上就可随时获得路网的交通流量等相关参数，不必要进行

28、大规模的数据采集工作。交通流量采集信息采集是交通流量分析赖以生存的生命线，而交通流量采集是信息采集的最基本的形式。国外在二十世纪二十年代就开始重视交通流量采集工作，随着信息技术的快速发展，国外大范围的高速公路路网的交通流量采集工作日益呈现出自动化、信息化的特点，调查方法灵活多样。交通流量调查和信息采集手段已经跨过三个台阶，即：人工采集(现在已经很少采用)到半人工采集(成为信息采集的主要手段，现仍继续完善)到遥感采集(继续完善)。国外全体公民的参与热情、行业部门之间的信息交换频率及操作的透明度较高，交通调查工作较多地利用信息化、智能化的技术手段。高速公路交通流量采集方面的理论研究主要集中在新技术

29、、新设备的开发以及交通信息传输方式的现代化方面。目前主要有一下几个方面1）环型感应线圈环型感应线圈5的优点是可靠性高、漏检率低、使用寿命较长。目前国际上公认较为成熟且广泛使用的自适应区域交通协调控制系统有英国的SCOOT系统(split cycle and off set optimization technique)，澳大利亚的SCATS系统(Sydney coordinated adaptive traffic system)，这两个系统中使用的车辆交通流量检测器均为环型线圈车辆检测器。2）微波检测器最具代表性的微波检测器6是由美国Wavetronix公司研发出的一种目前国际上技术最为领先

30、的交通检测器数字雷达波车辆检测器Smart Sensor（SS105）。SS105用了目前最先进的数字雷达波检测技术，用来采集交通流量、车型、平均速度及占用率等交通数据，广泛应用于高速公路进行全天候的交通检测，可同时检测多达8条车道的交通流量、车道占用率以及平均车速，能够较精确的检测高速公路上的任何车辆。 3）视频检测器：早在20世纪90年代中期，美、英、日本等国就开始研究基于图像处理的事件自动检测系统8，模拟人工判别交通异常的方法来实现事件的直接快速检测。该方法检测率高，检测周期短(几十秒或更短)，能识别不同事件的类型，并适应不同的交通流状况，是信息采集检测系统的发展方向9。Ikeda 等研

31、制的基于图像处理技术的异常事件检测系统1112，能够快速检测交通流量、慢行车辆、停驶车辆、丢弃物体、车辆连续变换车道各种事件。 数据仓库技术数据仓库定义是由W.H.Inmon于1993年在建立数据仓库37一书提出的，第一次明确提出了数据仓库的定义：“数据仓库是一个面向主题的、集成的、随时间而变的、持久的数据集合，用以支持经营管理中的决策制定过程38。”利用数据仓库的意义不仅帮助人们制定能够改进生产过程或商业过程的决策，而且实现生产过程或商业过程的自动化9。应用数据仓库技术，改良生产活动或商业过程中的各个环节、发展生产力、提高生产效率的理念，改善企业决策的支持模式，以取得最大的投资回报率，是当今

32、大多数优秀企业的共同经验。数据仓库技术是市场竞争下的产物，通过对大量的、不同源的数据进行集成处理，能够把综合的、丰富的、统一的信息提供给管理者或决策者，从而实现有效的决策辅助。根据调查全球500强中大部分的企业正在建立或己经建立数据仓库，数据仓库随着90年代后期的Internet 的兴起与飞速发展，正在成为当前技术的热点10。因此，各个大型数据库厂商顺应市场需求，都推出自己的数据仓库产品；已经建立和使用数据仓库的企业，大部分都取得了明显的经济效益，在市场竞争中表现出强劲的活力。国外数据仓库的研究在整合了分布式计算、数据库技术、管理信息技术等相关的学科技术的基础上，目前研究重点集中在元数据管理、数据模型等关键技术上。数据模型的建模研究主要集中在如下两个方面：对结构中各种不同类型的数据建模；为了实现数据集成