交通领域大数据调研报告文档格式.docx

交通领域大数据调研报告文档格式.docx

《交通领域大数据调研报告文档格式.docx》由会员分享，可在线阅读，更多相关《交通领域大数据调研报告文档格式.docx（10页珍藏版）》请在冰豆网上搜索。

双方推进全国交通管理大数据与业务管理的深度融合，对接数据资源，应用大数据分析技术，研究交通路况大数据分析算法，掌握全国主干道路路况规律，研究预测全国主干道路路网的路况。

什么是大数据？

“大数据”这个术语最早期可以追溯到apacheorg的开源项目Nutch。

当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。

随着谷歌MapReduce和GoogleFileSystem（GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。

总的来说，“大数据”主要有四个特征：

1.数据体量巨大，从TB级别跃升到ＰＢ级别。

2.数据类型繁多，包括网络日志、视频、图片、地理位置信息等各种类型数据。

3.价值密度低，商业价值高。

以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

4.处理速度快，遵循“１秒定律”，即可从各种类型的数据中快速获得高价值的信息，这与传统的数据挖掘技术不同。

概括起来即：

volume（容量）、variety（种类）、value（价值）、velocity（速度）。

分类

按其应用类型，可将大数据分为海量交易数据（企业OLTP应用）、海量交互数据（社网、传感器、GPS、Web信息）和海量处理数据（企业OLAP应用）这3类。

海量交易数据的应用特点是多为简单的读写操作，访问频繁，数据增长快，一次交易的数据量不大，但要求支持事务特性。

其数据的特点是完整性好、实效性强，有强一致性要求。

海量处理数据的应用特点是面向海量数据分析，操作复杂，往往涉及多次迭代完成，追求数据分析的高效率，但不要求支持事务特性，典型的是采用并行与分布处理框架实现。

其数据的典型特点是同构性（如关系数据或文本数据或列模式数据）和较好的稳定性（不存在频繁的写操作）。

海量交互数据的应用特点是实时交互性强，但不要求支持事务特性。

其数据的典型特点是结构异构、不完备、数据增长快，不要求具有强一致性。

在交通方面的大数据来源：

1.物流和运输公司。

路由规划，通过路由规划减少物流成本即社会物流总费用，进一步提高时效。

18年社会物流总费用达到了13.3万亿元。

（２０１９双十一，国家邮政局数字显示，全国快递行业邮递件业务量将达28亿件）

我国物流企业的信息化建设起步较晚，目前只有40%的物流供给企业拥有物流信息系统,信息化程度较低,目前距离物流信息化的目标还有很大距离，无法满足市场需求。

随着我国物流市场急速发展,物流信息化相继步入快速发展阶段。

2.公交一卡通。

交通局通过数据实时分析一方面可以控制公交车和地铁的发车班次和时间，减少空车率，疏导客流缓解城市道路压力；

另一方面也可以进行线路优化。

3.GPS定位。

《道路运输车辆动态监督管理办法》将于今年实施，其中最大亮点就是将所有运输车辆都与GPS卫星连接，国家可以实时监控车辆运行路线。

4.车联网（InternetofVehicles）。

比如通过分析公交车上GPS定位系统每天的位置和时间数据，结合时刻表预测出每一辆公交车的到站时间。

目前厂商们所推崇的车联网和可穿戴设备一样，都是将物联网与手机APP相结合。

5.路网监控。

目前国家在道路监控上的投入很大，监控摄像头数量每年增加20%。

6.电子地图导航应用。

将用户出行数据进行分析，从而可以预测不同城市之间的人口迁移情况，或者某个城市内群体出行的态势。

例如春运期间的交通调整。

大数据解决交通问题的流程

1、收集数据和输入数据：

这些数据包括静态数据和动态数据，前者指道路环境、车辆信息等长时间不会改变的数据，这类数据通过线圈（类似于磁性检测器）和摄像机（交通视频）进行搜索；

后者指在交通运行中而产生的实施数据（如车辆行驶速度），这类数据通过GPS全球定位技术、收集网络信号来搜索。

2、交换和处理数据：

数据中心对实时交通流数据进行提取，同时规定统一的数据格式，从而促进数据交换中心之间对数据进行交换和处理。

3、储存和收集数据：

通过基于云计算的云存储来对数据进行存储，将大数据集成起来

4、管理和使用数据：

控制中心将这些大数据在电脑地图上以不同色彩来展现，分别以不同颜色注明各个路段的拥堵情况。

相比于其他城市规划管理领域，城市交通相关的细粒度精细化数据较多也较丰富，所以大数据、数据挖掘在交通领域的应用也较广。

一、数据来源与分类

除了已经提到的大数据来源，还包括停车管理数据、牌照识别数据等交通领域数据及POI数据、手机信令数据等相关领域数据，我们可以进一步归类：

单次观测数据：

如浮动车GPS数据、道路卡口数据、停车管理数据等；

连续观测数据：

手机信令数据、LBS（Location-basedservice）数据（如我们使用微信、XX时留下的位置数据）、道路路况数据（如高德、XX等公司发布的拥堵指数）、公交刷卡数据、牌照识别数据等；

基础数据：

POI（PointofInterest）数据（如大众点评上的商家数据）、企业工商管理数据、房屋价格数据等；

（以上的“单次观测”和“连续观测”，是基于对个体出行（或交通设施）观测的角度进行区分的。

有些数据在不同语境下所属的类别不同，比如浮动车GPS数据，对于个体出行而言是“单次观测”，而对于出租车运营而言则是连续观测）。

二、为什么要用大数据分析城市交通

这些数据的好处主要在于：

细粒度：

这里包括数据对象的细粒度、时间的细粒度和空间的细粒度。

首先是数据对象，大数据往往描述的是“某个人、某条路、某辆出租车/公交车、某家餐馆”等，而不是“某个区”、“某群人”、“某种交通方式”。

而数据对象的细粒度往往伴随着空间的细粒度，很多数据都是用经纬度表示空间位置的，而不是之前的“市/区/街道”等。

至于时间的细粒度，可以参加下面的更新速度；

更新快：

拿城市交通综合调查举例子，可能五六年才一次。

人口普查基本上是十年一次，经济普查大概五年一次。

但与这些数据相比，大数据则更新速度很快，比如说

出租车GPS数据，基本上在90s以内就会更新一次；

连续性：

上面提到，很多数据都是对某数据对象的连续观测，因此，我们可以从该个体的长期行为中提取该个体的行为规律。

信息丰富：

这个就不多说了。

充分利用上述优点，我们就可以：

进行更多元化、精细化的分析：

空间尺度可以从宏观到微观，时间尺度可以从年度/月度/每天到每小时/30min/5min甚至更短，分析的维度/角度也可以更多元、更立体；

融合多源异构数据，寻找现象间的隐秘联系：

城市是一个复杂巨系统，各个子系统之间彼此相互影响，把各种各样的数据联系起来，发现城市现象间的关联关系；

分析个体选择行为，发现个体偏好：

大量的、连续的基于个体的数据，为各种离散的搭建与拟合提供了数据基础；

三、数据应用举例

大数据、数据挖掘在交通领域的应用可包括辅助交通规划、交通管理、交通监测和相关决策等（这里所说的是站在城市工作者的角度），又可根据研究对象空间尺度分为城际尺度和城市交通尺度。

总体来说，大数据可以精细化地回答交通领域关心的诸多基本问题。

比如：

“人在哪儿”、“从哪儿来，到哪儿去”、“怎么去”、“什么时候发生”等，以及由此衍生出来的，

“挤不挤”、“远不远”、“单调不单调”、“利用充分不充分”、“够不够”等。

还有可能为回答更深层问题提供一些思路，比如“为什么”、“有关吗”、“怎么办”等。

下面具体来说以下几个方面：

1.人口活动：

通过手机信令数据、LBS数据等个体连续观测数据，分析人群聚散、出行特征等，并量化地理空间的联系等。

城际尺度：

城市群分析、城际联系（如经济活动、异地就业）等。

简单贴两张图；

（１１月１６日广州长隆位置流量指数）

（这张图是2017年春节前全国流动人口的迁出流向。

人们从最亮的点，涌向全国的四面八方返乡过年。

选出了迁出量最高的前20个城市，而就是这20个城市承载了全国超过40%的人口迁出量。

）

城市尺度：

人口分布、职住关系、人口流动和聚散变化等。

如下（广州各区工作人口通勤距离；

广州各行政区职住比；

广州火车站人口热力图）

（职住比即“就业-居住比”，其数值等于指定区域内，就业人口数量与居住人口数量的比值。

（广州火车站人口热力图）

2.交通运行：

利用浮动车GPS数据、公交刷卡数据、道路卡口数据、牌照识别数据、道路运行数据等，分析不同交通方式下的城市交通运行，反映出行者出行需求特征、交通供给情况和供需匹配程度等。

此类分析由于受到数据本身影响，多为城市尺度分析，城际分析较少。

1）交通拥堵指数计算（利用出租车GPS数据，或高德等导航服务商的用户GPS数据等，对各微观道路进行拥堵指数计算），以及据此进行的拥堵监测、拥堵规律分析等；

2）公交运行特征分析：

传统的公交线路规划往往需要在前期投入大量的人力进行OD调查和数据收集。

特别是在公交卡普及后可以看到，对于OD流量数据完全可以从公交一卡通中采集到相关的交通流量和流向数据，包括同一张卡每天的行走路线和换乘次数等详细信息。

对于一个上千万人口的大城市而言，每天的流量数据都会相当大，单一分析一天的数据可能没有相关的价值，而分析一个周期的数据趋势变化则会相当有价值。

结合交通流量流向数据趋势变化，可以很好的帮助公交部门进行公交运营线路的调整，换乘站的设计等很多内容。

这个方法可能很早就有人想到，但是在公交卡没有普及或海量数据处理和计算能力没有跟上的时候确实很难实际落地操作。

以前在我国，客流OD调查多采用家访调查。

家访调查是对居住在调查区内的住户，进行抽样家访。

由调查员当面了解该户中包括学龄前儿童在内的6年以上（如北京1986年进行的个人出行调查）全体成员的详细出行情况，包括出发地、出发时间、目的地、到达目的地的时间、交通工具、出行目的、换乘情况、上车前后的步行时间等。

这种调查方法数据可靠，而且还可同时得到出行者的个人属性及社会经济特征资料。

此外还有路边询问调查、明信片调查、工作出行调查、车辆牌照调查、运输集散点调查、公交线路乘客调查、电话询问调查等。

这样的方法采集的数据量不仅小，采集周期长，而且还耗费大量的人力物力。

现在可以通过构建指标体系，利用丰富的数据资源对相关指标进行计算，实现细粒度的精细化分析。

3.城市监管与应急：

同样，通过建立监管指标体系，结合数据实时采集、传输、计算和可视化等，也可能设计到数据数据融合、叠加分析等，实现城市监管与应急。

许多城市已经搭建或着手搭建交通监测与评估系统，在此不做赘述。

4.城市规划相关分析：

交通规划或者说交通问题的缓解不能只着眼于交通系统本身，城市空间格局及其产生的社会活动对交通需求同样有深层影响。

所以，利用多源数据（如POI数据、房屋价格数据等），对城市产业、设施、用地等的分析，也是大数据、数据挖掘等在交通领域应用的重要组成部分。

5.城市决策：

利用多源异构数据，搭建多维指标体系，构建可信、可靠的模型，提供决策支撑。

当然，这个会涉及到更多的模型搭建