基于高速公路收费数据的交通流量多维分析技术研究.docx

基于高速公路收费数据的交通流量多维分析技术研究.docx

《基于高速公路收费数据的交通流量多维分析技术研究.docx》由会员分享，可在线阅读，更多相关《基于高速公路收费数据的交通流量多维分析技术研究.docx（71页珍藏版）》请在冰豆网上搜索。

基于高速公路收费数据的交通流量多维分析技术研究

基于高速公路收费数据的交通流量多维分析技术研究

重庆大学硕士学位论文

学生姓名：

万金朋

导师姓名：

孙棣华教授

专业：

交通信息工程及控制

学科门类：

工学

重庆大学自动化学院

二O一二年四月

StudyonMultidimensionalAnalysisofTrafficFlowbasedonHighwayTollData

AThesisSubmittedtoChongqingUniversity

inPartialFulfillmentoftheRequirementforthe

DegreeofMasterofEngineering

By

WanJinpeng

SupervisedbyProf.SunDihua

Major:

TransportationInformationEngineeringandControl

CollegeofAutomationof

ChongqingUniversity,Chongqing,China

April,2012

摘要

交通流量是反映交通运行状态的主要参数之一，如何科学的分析高速公路的交通流量分布规律是高速公路管理部门面临的重要问题之一。

论文在讨论交通流量的获取与交通流量分析的国内外研究现状的基础上，指出目前对于交通流量的采集主要依靠人力或昂贵的硬件设备，高速公路的交通流量很不全面，对于高速公路流量的分析主要依靠经验，缺乏充分的数据和先进技术的支持，无法对交通流量进行多样化、多层次、多角度的分析，管理决策往往缺乏针对性和有效性等缺点。

针对上述问题，论文利用现有的高速公路联网收费系统中的收费站出入口数据，提出了一种高速公路断面的交通流量的估算算法，进而采用趋势图、透视表等数据可视化方法对高速公路不同时间、断面以及车型的交通流量数据进行分析，获取其时空分布规律，加深对交通流量数据的理解，有助于进行高速公路交通流量的时空数据挖掘的研究，为有关部门提供科学管理和决策支持工具，支持对高速公路的针对性管理。

论文将联网收费系统的收费数据作为分析高速公路断面的交通流量的依据，以整体框架的构建、交通流量的估算处理、相关信息的抽取、交通流量仓库模型研究、OLAP（OnLineAnalyticalProcessing）多维数据集的设计、数据仓库和多维数据集的更新为线索展开研究，对于交通流量分析结果，利用OWC（OfficeWebComponent）组件进行多维展示。

针对总体框架中需要解决的关键问题进行了深入研究。

首先，根据目前高速公路管理部门的数据环境及数据特点，研究了基于DTS（DataTransformationServices）的交通流量数据抽取器，进而提出了一种基于高速公路联网收费数据的多断面交通流量估算方法。

其次，对交通流量规律分析的数据仓库模型和OLAP数据库进行了研究，重点分析了交通流量数据的粒度，并对交通流量数据进行了基于粒度的概化，在此基础上，构造了数据仓库的星型模型并完成了物理实现。

基于上述数据仓库模型，选取断面、车型、时间作为交通流量分析多维数据集的维度，创建了交通流量分析多维数据集。

最后，针对实际应用环境的需要，研究了数据仓库更新的方法和流程。

应用上述研究成果，利用重庆市联网收费平台采集的高速公路收费数据，开发了重庆市高速公路断面交通流量规律多维分析系统，具有良好的应用前景。

关键词：

交通流量分析，收费数据，OLAP，交通流量数据仓库，数据更新

ABSTRACT

Trafficflowisoneofthemainparameterstoreflectthestateoftrafficrunning,Howthescientificanalysisofhighwaytrafficdistributionruleisoneoftheimportantissuesfacingthehighwaymanagementdepartment.ThePapertodiscusstrafficflowonthebasisoftheresearchstatusandtrafficflowanalysis,whichpointsouthumanorexpensivehardwarefortheacquisitionofthetrafficflow.Highwaytrafficflowisfarfromcomprehensive,whichmainlyreplysonexperienceintheanalysisoffreewaytraffic.Lackofadequatedataandadvancedtechnologysupport,whichcannotbeonthetrafficflow,diversified,multi-layered,multi-angleanalysis.Managementdecisionsoftenlackrelevanceandeffectivenessofothershortcomings.

Inresponsetotheseissues,ThePapertakesuseofthetollstationentrancesandexitsinthedataintheexistingHighwayTollSystemandmakesapointofahighwaysection'strafficflowestimationalgorithmhighwaysection'strafficflowestimationalgorithm.Thusitadoptsthetrends,pivottablesandotherdatavisualizationmethods,whichrspondstotheanalysisofthehighwayatdifferenttimes,thecrosssectionaswellasmodelsoftrafficflowdataandaccesstoitsspatialandtemporaldistribution,deeplyunderstandsthetrafficflowdata.Itcontributestothehighwaytrafficflowspatio-temporaldataminingresearch,andprovidesscientificmanagementanddecisionsupporttoolsfortherelevantdepartments.Supporttargetedontheproblemofhighwaytrafficflowmanagement.ThePaperTollSystemchargesdataasabasisforanalysisoftrafficflowonthehighwaysectionandusestheconstructionoftheoverallframework,trafficflowestimationprocessing,theextractionofrelevantinformation,thedesignoftheOLAPcube,datawarehouseandcubeupdatesprovidesomeclues.Fortrafficflowanalysis,ittakesadvantageofOWCcomponentsofthemulti-dimensionaltoshow.

Keyissuesneedtobeaddressedintheoverallframeworkofthein-depthstudy.Firstofall,accordingtothedataenvironmentanddatacharacteristicsofthehighwaymanagementdepartment,itresearchsthetrafficflowdataextractionbasedonDTS,andpointsoutatrafficflowestimationmethodbasedonthedatasectionoftheExpresswayNetworkcharges.Secondly,itposesmodellawanalysisoftrafficflowdatawarehouseandOLAPdatabases,andmainlyanalyzesthetrafficflowdatagranularity,andthetrafficflowdatabasedonthegranularityofgeneralizability..Onthisbasis,itconstructesstarmodelofthedatawarehouseandcompletesthephysicalimplementation.

Basedontheabovedatawarehousemodel,itselectsthesection、models、timestomakeupofthedimensionofthecubeasatrafficanalysis,andcreatesatrafficanalysiscube.Atlast,contrarytothepracticalapplicationofenvironmentalneeds,itresearchesthemethodsandprocessesthedatawarehouseupdates.Applicationoftheaboveresearchresults,ittakesadvantageoftheChongqingtollcollectionofhighwaytolldataplatform,andwedevelopetheChongqingcityexpresswaysectiontrafficrulemulti-dimensionalanalysissystem,whichhasagoodprospectofthisapplication.

Keywords:

analysisofthetrafficflow,chargedata,onlineanalyticalprocessing,trafficflowdatawarehouse,dataupdate

目录

中文摘要I

英文摘要III

目录5

1绪论9

1.1研究的背景9

1.2研究的目的及意义10

1.3国内外研究现状及分析10

1.3.1国外研究概况10

1.3.2国内研究概况12

1.3.3研究现状问题分析13

1.4论文结构14

1.5本章小结15

2高速公路交通流量多维分析总体框架17

2.1引言17

2.2需求分析17

2.3设计思想18

2.4高速公路交通流量多维分析18

2.5关键问题20

2.6本章小结21

3基于高速公路收费数据的交通流量分析23

3.1引言23

3.2断面交通流量估算所需数据的抽取23

3.3建立高速公路断面交通流量估算模型24

3.3.1数据预处理24

3.3.2基础数据调研25

3.4基于收费站数据的道路断面的交通流量估算26

3.5实验及验证27

3.5.1实验环境27

3.5.2验证及对比27

3.5.3实验结果分析30

3.6本章小结30

4基于OLAP的交通流量数据仓库模型33

4.1引言33

4.2数据多维分析相关技术基础33

4.2.1数据仓库技术33

4.2.2数据仓库的多维数据模型34

4.2.3OLAP技术36

4.3流量变化规律多维分析数据仓库模型39

4.3.1交通流量变化规律多维分析概念模型39

4.3.2交通流量变化规律多维分析逻辑模型40

4.3.3交通流量变化规律多维分析物理模型43

4.4交通流量OLAP数据库设计44

4.4.1维度及多维数据集选择44

4.4.2交通流量规律多维数据集的创建45

4.5交通流量变化规律多维分析数据仓库和多维数据集更新方法研究45

4.5.1数据仓库更新45

4.5.2多维数据集更新47

4.5.3多维数据集更新处理流程47

4.6本章小结48

5实例分析50

5.1应用环境50

5.2基础数据处理50

5.2.1基础数据50

5.2.2数据预处理52

5.3系统开发中关键问题实现52

5.3.1高速公路交通流量数据的估算的实现53

5.3.2交通流量数据到数据仓库事实数据的生成的实现53

5.3.3多维数据集的生成和更新的实现53

5.3.4基于OWC的分析结果的多形式展示的实现54

5.4高速公路交通流量规律多维分析结果展现55

5.4.1数据透视表展示55

5.4.2图表展现58

5.5本章小结59

6总结与展望60

6.1总结60

6.2研究展望60

致谢63

参考文献65

附录69

A．作者在攻读学位期间发表的论文目录69

B．作者在攻读硕士学位期间参与的项目目录69

1绪论

1.1研究的背景

到2011年底，我国高速公路通车总里程已超过8.5万公里，位居世界第二位[1]。

从高速公路通车里程和路网结构、高速公路密度的增长情况来看，我国高速公路这些年的建设规模和发展速度是空前的，施工水平和建设质量的技术进步也接近于发达国家水平，这使得我国高速公路的整体路网适应能力迅速提高。

然而在高速公路的管理和高速公路的信息化建设方面，这些年的技术发展速度相对来说落后于施工技术的发展速度，与发达国家的差距比较明显[2]。

交通数据的采集、整理、应用上远远落后于西方发达国家，表现在没有实现数据资源共享，未形成统一的数据管理模式等方面，致使大量宝贵的基础数据或已有数据没能得以充分利用，造成没有必要的重复、反复采集等一系列问题[3]。

同时由于数据资源的缺乏也造成了交通管理上的不足。

对于高速公路的交通流量的分析更是如此，在进行高速公路规划和建设方案研究时，都没有系统的、全面的高速公路网交通流量数据，许多高速公路建设项目在进行工程可行性研究时，都要花费大量的人力、物力进行局部的交通流量调查，同时由于受各种条件的限制其数据也不够准确、全面。

不够准确的交通流量数据也极易导致规划或建设项目的失误。

高速公路交通参数采集是一项十分重要的基础工作，其采集所得的交通参数是高速公路规划、设计、维修和养护管理不可替代的重要资料，也是评估、决策高速公路总体布局和交通发展战略的科学依据，也是评估经济发展水平的一个重要依据，在规划一个经济区域时，离不开这些交通参数[4]。

80年代初[4]，高速公路主干道上日交通流量一般不过两千多辆，刚开始的手工计数阶段，人力成本极大，且得出的结果误差较大。

改革开放以来，国民经济的快速发展，高速公路交通流量逐年快速上升。

交通流量采集方法从原始的手工记数发展到机械计数器和自动观测仪器阶段。

90年代中期，环形线圈检测器及相关数据处理软件的出现，彻底摆脱了枯燥、烦琐的人工计数方式，且计算较准确，这是高速公路交通流量采集技术的一次飞跃。

到目前为止，全国大部分千线高速公路上的交通流量观测站都安装了这种仪器。

随后出现了微波检测器以及光电式检测器等，但是上述方法都存在硬件寿命不长，干扰较大等缺点。

近年来随着计算机视觉技术的日益成熟，基于视频的检测技术得到了众多学者和专家的推崇。

但是，我们己进入21世纪，当今是高速发展的信息时代，社会对公路交通信息精确、快速和多方位应用的要求，使得现有的技术方式相形见拙。

具体来说，有以下不足：

（1）采集精度不够高，一般不能分车型采集，数量精度和车型分类精度难以满足2个95%要求；

（2）设备稳定性差（受气候影响较大）；

（3）线圈检测器需要路面开挖，影响高速公路的正常运行，且不易维护；

（4）一些硬件寿命不长，干扰较大；

（5）采集的数据难以快速汇总。

1.2研究的目的及意义

高速公路交通流量是最基本的交通管理数据，是我国高速公路交通研究与决策的重要依据，是进行高速公路管理的重要基础数据。

无论是进行公路规划、制定建设计划、公路建设可行性研究分析、确定公路设计标准、公路养护管理等等，都需要高速公路交通流量作为研究的依据。

建立一个全面的、能够反映全省高速公路网交通流量情况的数据库以及分析模型，对于做好高速公路管理的各项工作具有重要意义。

而建立高速公路网交通流量数据库，需要进行大量的调查工作，一个完整的全省路网交通流量分析系统，还需要进行全省的路网交通流量调查，一个全省的路网交通流量调查，需动用的人员要上万人，资金投入也很大。

这项工作涉及面广，组织复杂、工作量大，需要投入大量的人力、资金，而所调查的数据只是一个时段的交通流量，随着时间的推移，路网的变化和交通流量的不断变化，这些数据将逐渐失去使用的价值。

如果将全省高速公路网的联网收费数据分析得到随意断面的交通流量，从而建成动态的、可以根据有关因素适时调整的数据库，则不仅可以充分发挥全省高速公路网交通流量调查的基础数据的作用，而且可以及时提供全省高速公路路网的全面的交通流量资料，这对于做好公路管理、制定规划、计划等工作都将具有十分重要的意义。

另一方面，本论文所研究的数据仓库与OLAP（OnLineAnalyticalProcessing）技术应用于高速公路交通流量信息化系统的意义是通过高新技术的有效应用，使得对各种决策（包括收费站管理决策、人员评估战略决策、交通方式及交通路线选择决策等）起到支持作用的信息和知识在高速公路交通流量信息化系统中能够有效流通，提高决策的科学性，从而引导合理的交通行为，最大限度地发挥已有交通设施潜力的目的。

1.3国内外研究现状及分析

1.3.1国外研究概况

高速公路作为干线公路的主体，早在20世纪20至30年代就开始在德国、意大利等西方发达国家出现。

上世纪50年代中期以后，发达国家就开始有计划、大规模建设高速公路，到目前已经发展到了一个非常成熟的阶段（美国的高速公路网在上世纪80年代基本建设完成），无论其土建工程还是配套设施的发展都已经非常完善，进而许多发达国家开始重视高速公路的信息化管理、安全性等问题，正向以计算机科学和先进控制技术为基础的智能交通系统发展。

国外的高速公路网交通流量数据采集系统大部分也是在高速公路大规模建设阶段日益建设起来，他们的数据资料齐全，在计算机模型上就可随时获得路网的交通流量等相关参数，不必要进行大规模的数据采集工作。

①交通流量采集

信息采集是交通流量分析赖以生存的生命线，而交通流量采集是信息采集的最基本的形式。

国外在二十世纪二十年代就开始重视交通流量采集工作，随着信息技术的快速发展，国外大范围的高速公路路网的交通流量采集工作日益呈现出自动化、信息化的特点，调查方法灵活多样。

交通流量调查和信息采集手段已经跨过三个台阶，即：

人工采集（现在已经很少采用）到半人工采集（成为信息采集的主要手段，现仍继续完善）到遥感采集（继续完善）。

国外全体公民的参与热情、行业部门之间的信息交换频率及操作的透明度较高，交通调查工作较多地利用信息化、智能化的技术手段。

高速公路交通流量采集方面的理论研究主要集中在新技术、新设备的开发以及交通信息传输方式的现代化方面。

目前主要有一下几个方面

1）环型感应线圈

环型感应线圈[5]的优点是可靠性高、漏检率低、使用寿命较长。

目前国际上公认较为成熟且广泛使用的自适应区域交通协调控制系统有英国的SCOOT系统（splitcycleandoffsetoptimizationtechnique），澳大利亚的SCATS系统（Sydneycoordinatedadaptivetrafficsystem），这两个系统中使用的车辆交通流量检测器均为环型线圈车辆检测器。

2）微波检测器

最具代表性的微波检测器[6]是由美国Wavetronix公司研发出的一种目前国际上技术最为领先的交通检测器—数字雷达波车辆检测器SmartSensor（SS105）。

SS105用了目前最先进的数字雷达波检测技术，用来采集交通流量、车型、平均速度及占用率等交通数据，广泛应用于高速公路进行全天候的交通检测，可同时检测多达8条车道的交通流量、车道占用率以及平均车速，能够较精确的检测高速公路上的任何车辆。

3）视频检测器：

早在20世纪90年代中期，美、英、日本等国就开始研究基于图像处理的事件自动检测系统[8]，模拟人工判别交通异常的方法来实现事件的直接快速检测。

该方法检测率高，检测周期短（几十秒或更短），能识别不同事件的类型，并适应不同的交通流状况，是信息采集检测系统的发展方向[9]。

Ikeda等研制的基于图像处理技术的异常事件检测系统[11][12]，能够快速检测交通流量、慢行车辆、停驶车辆、丢弃物体、车辆连续变换车道各种事件。

②数据仓库技术

数据仓库定义是由W.H.Inmon于1993年在《建立数据仓库》[37]一书提出的，第一次明确提出了数据仓库的定义：

“数据仓库是一个面向主题的、集成的、随时间而变的、持久的数据集合，用以支持经营管理中的决策制定过程[38]。

”利用数据仓库的意义不仅帮助人们制定能够改进生产过程或商业过程的决策，而且实现生产过程或商业过程的自动化[9]。

应用数据仓库技术，改良生产活动或商业过程中的各个环节、发展生产力、提高生产效率的理念，改善企业决策的支持模式，以取得最大的投资回报率，是当今大多数优秀企业的共同经验。

数据仓库技术是市场竞争下的产物，通过对大量的、不同源的数据进行集成处理，能够把综合的、丰富的、统一的信息提供给管理者或决策者，从而实现有效的决策辅助。

根据调查全球500强中大部分的企业正在建立或己经建立数据仓库，数据仓库随着90年代后期的Internet的兴起与飞速发展，正在成为当前技术的热点[10]。

因此，各个大型数据库厂商顺应市场需求，都推出自己的数据仓库产品；已经建立和使用数据仓库的企业，大部分都取得了明显的经济效益，在市场竞争中表现出强劲的活力。

国外数据仓库的研究在整合了分布式计算、数据库技术、管理信息技术等相关的学科技术的基础上，目前研究重点集中在元数据管理、数据模型等关键技术上。

数据模型的建模研究主要集中在如下两个方面：

对结构中各种不同类型的数据建模；为了实现数据集成