科学交通组织优化与仿真系统项目.docx

1、科学交通组织优化与仿真系统项目科学交通组织优化与仿真系统项目第一包科学交通组织优化与仿真数据支撑中心北京市公安局公安交通管理局2017年11月一、项目建设内容 搭建智能交通云计算大数据中心的基础服务架构，利用云存储、云计算、大数据、网络虚拟化等技术，构建北京市交通管理大数据中心，实现交通监管数据的统一存储，集中管理，共享应用，实现交通监管数据、视频监控数据等的联动与共享，为实现城市交通状况的主动管理、干预、防控、预警提供技术支持,实现城市交通大脑功能。基于智能感知网建设，重点围绕城市交通运行数据开展大数据应用，项目实现目标包括三个部分：一是建设交通管理大数据共享交换管理平台，全面梳理、共享、汇

2、聚我局及相关政府部门、警种、社会单位的数据资源，建设数据采集、数据清洗、数据运维、数据治理、数据共享、数据可视化等功能模块，构建对交通管理数据资源进行动态管理配置的高效支撑平台。二是建设交通管理大数据基础分析计算平台，根据交通管理业务需求，运用人工智能、深度学习、大数据计算等组件和系统，开发交通运行大数据综合分析等应用环境，建立相关业务数据分析应用模型，为局属单位提供定制化的业务数据统计分析服务，实现基于视频结构化的交通应急事件和异常交通行为规律分析预警，生成定性与定量相结合的交通管理决策信息，为路面交通管理、区域信号优化控制、交通管理措施仿真评估及效果预测提供数据支持。三是基于仿真数据支撑中

3、心提供的数据应用服务，运用深度学习、大数据计算、在线动态仿真等技术，搭建开放的、动态化的科学交通组织优化与仿真平台，相对于以往的仿真系统，能够实现路口交通组织个性化仿真，新、改建交通工程、道路施工等交通环境影响动态评价仿真，以及重点区域的交通动态OD分析，为区域交通组织优化、重点区域交通运行状况监控及预测提供支撑。 为保障上述项目目标的实现，建设任务需包含但不限于下述内容。 一是建设云存储云计算大数据共享交换管理平台。充分发挥云计算的整合能力，全面梳理、汇聚我局及相关单位的数据资源情况，构建能够对交通管理业务资源需求进行动态管理、配置、监控和部署的具有开放架构的高效支撑平台。 二是建设大数据分

4、析计算平台。搭建大数据存储池、资源池、计算池，对交通管理各类数据进行全面、统一的汇聚、整合、治理、分析、挖掘和交换，实现多源异构数据的有效融合、分布和管理。根据交通管理业务需求提供计算模型，为交通管理工作提供高效的数据及计算模型服务。为科学交通组织优化与仿真平台提供数据存储、计算资源、可视化支持。 三是建设大数据共享交换平台。通过数据加密、共享安全、安全协议、密钥管理等措施，为局内其他业务部门及局外相关业务单位提供数据共享交换渠道。此外为交通管理业务数据应用提供统一管理、安全认证、用户交互等共享支撑能力，为数据在公安网、感知网、互联网之间的共享交换提供安全有效的保障。 四是建设大数据应用支撑中

5、心。围绕智能交通管理的业务需求，实现多源异构道路交通数据的融合、处理分析、智能计算及结果可视化，为交通管理综合决策及相关应用提供技术支持；为科学交通组织优化与仿真平台提供静态数据、实时动态数据支持。五是建设智能交通管理通用的业务模型及技术模型，服务于城市管理。开发交通组织优化仿真评估、交通动态OD评估分析以及交通大数据综合应用分析等应用环境，为城市管理、警务大数据实战、交通仿真等智能交通应用提供支撑。六是建设我局数据管理规范体系和技术标准体系；形成标准化的运维运营体系。二、项目建设工期项目工期：自签订合同之日起6个月内完成所有项目的建设工作，进入为期3个月的试运行。项目质保期：从项目通过最终验

6、收之日起3年。三、技术要求及功能要求3.1技术要求 在本项目建设中，需要具备弹性计算技术、海量融合存储技术、内存数据库技术、自主安全技术等。1、弹性计算技术 该项目建设采用成熟先进的技术，实现弹性计算和资源自动化调度管理。采用虚拟化技术对新建和原有的计算资源进行整合，对底层服务器、存储和网络等硬件资源进行抽象以构建一个共享的资源池，以确保IT资源被充分利用、保证应用系统满足实际工作负载的需求及IT架构的易扩展性和动态性。2、海量融合存储技术 北京市交管局目前已经积累很多重要的业务数据资源，同时存储在不同的存储设备上，项目建设通过海量融合存储技术实现对现有分散在各个存储设备上的数据资源进行深度融

7、合和整合，并通过存储技术实现在数据层面的多个数据中心的数据双活，保障数据的实时同步和对业务的实时支撑。3、内存数据库技术 大数据云平台中将充分使用内存数据库技术，将数据放在内存中直接操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。内存数据库的特点包括：采用复杂的数据模型表示数据结构，数据冗余小，易扩充，实现了数据共享；具有较高的数据和程序独立性，数据库的独立性有物理独立性和逻辑独立性；内存数据库为用户提供了方便的用户接口；内存数据库提供4个方面的数据控制功能，分别是并发控制、恢复、完整性和安全性；增加了系统的灵活性。主流

8、的内存数据库包括TimesTen、ASE-IMDB、SolidDB等。4、自主安全技术 为了避免系统性的风险及技术风险，大数据云平台项目建设需采用自主可控的产品，通过自主安全技术实现从硬件到软件的部署和搭建。自主安全产品的核心技术、关键部件具有我国自主知识产权，保证系统的安全性。3.2功能要求 1、可靠的数据交换与共享需求 针对前端采集设备类型多样，数据传输性能要求高的问题，本次应建设统一的大数据共享交换平台，引入分布式消息技术，通过设备接入服务进行数据采集，通过大数据传输子平台将数据传输至大数据集成子平台，保证平台的稳定性和数据的实时性，为上层应用等提供完整有效的数据服务。 2、统一的交通管

9、理大数据中心建设需求 本项目将利用分布式存储和分布式并行计算技术打造交通管理云计算大数据中心，立足大数据系统建设应用，结合智慧交通系统规划需求，通过全面接入各类交通基础数据，完成交通数据可视化、交通组织优化仿真评估、交通动态OD分析。实现对海量实时和历史数据的采集、解析、存储和查询检索功能，彻底消除传统技术的瓶颈，满足高带宽和高并发的海量数据存取需求。实现重点区域的交通流构成特性分析，分析结果为科学的制定拥堵区域交通管理决策提供支撑。实现交通大数据综合应用分析。 3、专业的数据资源服务需求 本项目将通过大数据共享交换平台，实现数据资源开放的信息服务。通过信息资源服务总线，挂接本地数据服务接口、

10、应用服务接口和外单位共享服务接口而构建的信息共享交互的传输通道，为应用系统提供丰富的资源服务；资源服务总线可根据本地管理和应用需求进行定制，满足本地开展大数据服务和其它桥接器专题应用服务，集中管理本地所有类型的资源服务。 4、精细化的数据管理需求 本项目要求进行数据资源的统一管理，以实现数据资产的有效管理。通过建设大数据治理平台实现数据资源的全面注册，实现数据资源的规范化编目，实现结构化数据质量评估与监测，实现多种数据存储计算系统的统一监控预警。大数据治理实现元数据管理、数据层面标准规范、数据质量分析管理及数据纠错。 5、云计算大数据中心基础设施建设需求为了支撑公安交通管理大数据业务针对海量数

11、据的分析及处理，需构建云计算基础平台，提供智慧计算能力，满足大规模计算集群的管理、调度和运用能力，并通过统一的云计算平台，快速响应新的业务需求，并支持异构的计算和存储环境，以及虚拟化平台。6、接口需求云计算大数据中心提供数据采集系统数据接口,可以接受各种主流信息采集系统的数据。提供各种主流信息发布系统接口。云计算大数据中心数据接口支持立体数据呈现，支持大屏可视化系统集成数据可视化及实时交互。支持硬件渲染，支持软件渲染，支持向量渲染。7、上云部署需求 提供对云计算大数据平台计算虚拟化、网络虚拟化、存储虚拟化及大数据、物理机等资源的池化管理，支持资源的在线申请、分配、弹性扩展、资源占用监控等全方位

12、管理功能。提供完整的虚拟机生命周期管理，支持CPU、内存、磁盘、网卡等资源的热添加、修改；提供虚拟机智能电源管理，支持动态资源调度；支持健康巡检功能；提供统一的图形界面管理软件。四、项目建设原则1.标准性、开放性系统所采用的相关标准必须与国际、国家、北京市、公安部相关标准相符合，确保系统具有良好的开放性，能够实现与多种技术和软硬件平台的有机集成。2.安全性系统应具有完整、全面的安全体系和良好的安全性，能够提供信息传输保密性、数据完整性、身份识别和数字认证、防抵赖性等安全保障措施，确保信息存储、交换的安全运行。系统设计不影响各部门相关信息系统的安全性。3.可扩展性系统采用可扩展的技术体系架构，以

13、适应信息化建设和应用系统快速发展的要求。系统必须支持异构数据库之间数据交换和共享，支持主流关系型数据库，支持不同操作系统之间信息交换应用的互联互通。4.高可靠性系统应具有良好的可靠性，建立各种故障的快速恢复机制，确保实现724小时地正常运转，确保信息交换工作正常运行。5.可管理性系统应具有良好的可管理性，允许管理人员通过管理工具实现系统全面的可视化监控、管理和配置，并为系统故障的判断、排错和分析提供支撑，可对信息交换流程进行简易、灵活地定制和调整，同时对系统运行情况能够实时的统计分析、报表展示。6、信息安全等价保护系统需满足信息安全等级保护三级。五、与其它系统的关系 1、与公安部相关业务部门系

14、统之间的关系北京市交通管理云计算大数据中心在建设过程中充分考虑到系统的先进性和可扩展性，将预留接口和公安部交管局做对接。一方面，从数据层面上，北京市交通管理云计算大数据中心和公安部相关业务部门系统互联互通，实现数据共享交换。同时公安部相关业务部门可通过数据总线，共享交换北京市交通管理云计算大数据中心的数据。 2、与北京市政务云之间的关系北京市公安交通管理云计算大数据中心可为北京市政务云提供的数据支持。实现与相关委办局如交通委和应急办等的数据共享交换。 3、与北京市公安局业务系统之间的关系北京市交通管理云计算大数据中心实现与公安部、北京市公安局两级资源服务平台的无缝对接。云计算大数据中心遵循公安

15、部关于公安交管信息化建设的标准规范，其通过业务支撑平台层的融合，实现内部的流程共享。其他相关业务系统也可以通过特定的适配器连接到云计算大数据中心的资源服务总线上。六、总体方案设计图1：总体架构设计 “大整合、高共享、深应用”是公安交通管理信息化发展的趋势。只有把海量的信息数据汇集起来，实现互联互通、共享共用，才能使源头活水变成交通运行状况预警预防、精确仿真的强大源动力。通过大数据云平台构建统一的大数据中心的建设，最大限度地汇集整合内部基础信息资源，全面推动交管基础数据、业务数据、专题数据、外部交换数据等四大类数据的集成汇聚、关联共享和集成应用，真正合成一片全市公安交管数据云，满足北京市交管局多

16、数据、智能化、个性化、一键式应用需要，着力打造大数据服务实战的利器，推动北京市交管局交通管理工作的转型升级，更好地服务全市立体化、现代化公共交通规划体系建设。系统总体架构包括：数据采集层，网络层，数据层和业务层。1、数据采集层。主要分为内部和外部数据，其中内部数据包括：道路前端监控视频、电子警察、卡口、线圈数据、旅行时间数据、交警六合一数据、信号控制、微波数据、超声波数据、货车数据等交通安全监测服务设备或基础应用管理系统采集发布的各类道路动态信息；外部数据包括：气象数据、环保数据、信令数据、互联网数据等信息。2、网络层。主要是指前端设备采集信息传输至大数据云平台、各业务系统之间信息交换共享的智

17、能交通网以及内外网边界接入平台。3、数据层。主要是指仿真系统核心软件的关系型数据库、用于业务分析研判的云计算环境分布式数据库、道路监控系统数据库以及与大数据云平台关联交换数据的公安交通管理综合应用平台、PGIS等其他业务系统数据库管理的各类业务数据。4、业务层。交通组织优化仿真评估、交通动态OD估计及预测和交通大数据综合应用分析等。 5、技术标准体系主要是指大数据云平台的技术标准、图形符号以及向大数据云平台传输信息的各类信息接口规范。七、项目需求及技术参数 系统需满足信息安全等级保护三级。投标方需提供相关方案。承建方建设完成后需提供第三方测试认证文件，相关评测费用由承建方承担。7.1 大数据中

18、心建设要求7.1.1大数据基础支撑软件 大数据中心建设需要成熟的大数据基础支撑软件，具体要求如下： 基于主流开放式 Hadoop 系列并行计算基础架构和混合式架构，系统可实现基于传统分布式网络和云计算平台的多种模式部署；系统能够较好的支持Hadoop生态系统，支持Hbase、MapReduce、Kafka、Ranger、Kerberos、Knox、Ooize、数据探索组件、Storm、Spark2.0及以上版本、ElasticSearch等服务组件的一键式添加、启动、停止、删除；系统需采用分布式批处理框架，将输入的数据集划分为块后并行处理、排序、再归集，可处理PB级别的数据。 支持并行数据库对

19、海量数据的SQL查询，要求能够完善的支持SQL语法，支持ANSI SQL标准，全面支持SQL-92、 SQL-99、 SQL-2003，OLAP扩展。 提供业内广泛使用的高效分布式存储架构，可存储任意容量，任意数据类型的数据；支持对管理平台接入的数据源进行查询，包括 Mysql、Oracle、PostgreSQL 、并行数据库等，同时支持 Hive、Storm、Spark、Presto 等方式的数据查询操作，查询后能够图形化显示各数据项的汇总规模等；支持对平台存储的数据资源的相关元数据进行管理和操作，可查看表结构、表的存储位置及样本数据。 支持从文件创建一个表、手动创建一个表以及 Hadoop

20、 体系与传统关系型数据库之间、传统关系型数据库之间的大批量数据的传输；支持业务人员能够以拖拽方式进行数据可视化，能够自选可视化方式，自定义布局，支持表格、柱状图、直方图、仪表盘等多种形式的可视化样式；支持多源异构视频平台的视频接入，包括对GB/T 28181、ONVIF、RTSP等国家标准和行业标准的支持；支持通过数据治理平台，实现数据资源的申请、审批和自助交换使用；支持基于用户和角色的统一安全管理。7.1.2 一站式批量数据采集平台数据采集平台基于微服务架构开发，支持多线程、集群化部署和使用；数据采集系统提供功能调用接口，支持各业务系统能够调用接口实现数据交换，支持对接口进行监测；支持在传统

21、数据库、文件系统等异构数据源之间稳定的高速交换数据，通过Web界面实现任意两个数据存储系统（异构RDBMS、HDFS、Hive、Hbase、本地文件系统、ElasticSearch、FTP）之间的数据采集和交换。7.1.3 大数据治理平台大数据治理平台按照行业标准规范管理，针对大数据平台的数据结构建立规范，制定管理标准、开放标准、访问标准、技术标准等。提供基于行业、主题、服务的统一标准规范制定功能，包括目录、信息类、数据元以及代码集；为实现互联互通、信息共享、业务协同以及安全可靠提供必要前提。数据治理平台提供对数据的全生命周期管理，支持从数据标准建立，数据资产管理，数据分析整个全生命周期的数据

22、管理能力；提供数据全生命过程的任务调度和监控能力；提供数据资产的统计分析能力。大数据治理平台的应具有如下主要功能： 提供数据标准集中化管理：可实现对数据标准的描述和存储，实现标准的统一集中管理。 支持数据唯一编码性：以政务信息标准的前段码和后段码组合唯一标识一个信息类和信息项，可用于明确定位一个数据，方便数据的交换共享。 支持目录服务技术，对数量多、分类广、分散在不同机构的信息资源特征进行描述，对信息资源赋予唯一标识符；支持对目录内容采用灵活的多级目录配置方式，根据使用者适合自己业务领域的信息资源目录查找关心的信息资源，并可对资源信息进行维护，形成机构之间信息资源物理分散、逻辑集中的信息共享模

23、式，实现以目录树的形式展现标准信息，帮助用户查找定位目录内容。 支持数据集管理：描述对象的相关特征，采用业务领域的划分，列出各部门共享数据的详细信息和数据项内容，确保对象描述的唯一性，以避免在不同环境以及不同视角下对同一对象的差异化描述。7.1.4大数据可视化平台大数据可视化平台定位于为业务人员提供企业级大数据分析的数据可视化系统，模式简单易用，可提供量身打造的、界面化的交互方式，提供灵活、易用、高效可视化探索式分析能力，帮助我局内部各个业务部门构建贴合自身业务需求的数据分析及结果展示模式。可视化应用场景应易学易用，业务人员只需简单拖拽，就能轻松制作出可视化展示报告。大数据可视化平台主要特点包

24、括： 数据整合与大数据治理平台深度融合，通过治理平台申请到的数据能够直接在可视化平台中进行分析；支持本地数据、数据库数据以及大数据平台多种数据源。 数据处理支持以拖拽的方式实现多表关联、数据聚合等功能，使得分散到不同数据表中的数据可以通过拖拽的方式实现一步到位的分析。 拖拽式可视化分析支持拖拽式的自由编排设计工具，通过拖拽即可实现灵活的可视化布局，所见即所得，页面支持静态预览和动态预览。支持流式布局、自由式布局，并提供多种布局模板。7.1.5大数据计算平台大数据计算平台支持离线计算、实时流计算和人工智能计算。大数据计算平台支持流计算平台，需要满足达到秒级延迟、百万作业吞吐量的要求；要求计算可水

25、平扩展，实现流计算的弹性化、自动化。离线计算也叫批量计算，针对海量的存量数据，采用适用于大规模并行批处理作业的方式获得数据挖掘结果，支持海量作业并发规模，系统自动完成资源管理，作业调度和数据加载。离线计算支持利用MapReduce进行计算，支持利用Spark进行内存计算，支持计算规模的在线水平扩展。基于人工智能计算平台，开发交通流量分析智慧模型及算法，从而优化信号配时，提高道路通行效率；识别监控特种车辆，实现特种车辆的优先调度、安全监管等，满足交通流的优化管理需求。7.1.6 大数据建模平台大数据实战应用系统需要包罗各个业务部门需要应用的业务模型，因而自主建模应用需包含适用于不同场景的机器学习

26、算法的模型库：分类、聚类、决策树、神经网络、向量机、贝叶斯等，同时需满足不同业务应用以及数据分析挖掘场景算法模型的选择，并且需要提供自主建模功能。以大数据计算平台作为支撑，构建图形化、拖拽式的自主建模平台，提供数据预处理、分析、挖掘基础组件及可视化模板，方便业务人员采用拖拽操作的方式，自主搭建分析模型。用户不再需要被固定化分析模型所捆绑，可自主的进行数据分析和挖掘，并可利用可视化模板将分析结果进行可视化展示，同时推送至其他业务场景，为领导分析决策提供辅助支持。建模平台组件库应包含数据组件、交通管理行业组件、算法组件，要求提供如下功能：数据组件：提供分组、表关联、结果导出、表合并、类型转换、数据

27、转换、公式、数据离散、时空碰撞等具体数据分析工具，模块化配置，支持基础的数据操作。交通管理行业组件：根据我局业务需求，将基础的业务数据处理逻辑封装，避免重复操作，加快模型产出。需要提供案件特征筛选、车辆特征筛选、人员特征筛选、车辆及人员比对碰撞等相关组件，可根据业务需求快速扩展更多新的组件。算法组件：提供k-means，决策树，随机森林等基础机器学习算法，以及支撑工具组件如算法训练、选择预测列、算法模型，模型封装与模型保存相结合，支持机器算法模型。7.1.7 API开放平台针对需要发布成API的数据源，要求能够通过Web界面对数据源进行注册，能够以拖拽的方式配置多表之间的关联关系，能够选取相应

28、的字段发布成API；可以自动生成API文档；支持API调用次数、调用频率的限制；提供GIS开发接口。7.1.8 运维管理平台实现本项目物理资源和虚拟资源的统一监控管理，具备集群管理能力，直观展示各类软硬件资源的运行状况，收集和分析性能数据、关联异常现象，准确快速地定位设备故障源，并实现告警和日志功能。 资源统一管理支持对多种物理资源、虚拟资源统一抽象建模，以资源池的形式提供服务。通过资源管理模型，实现对计算资源、存储资源、网络资源、集群、虚拟机、服务目录、物理资源等进行管理。支持虚拟机的全生命周期管理，包括虚拟机的创建、启动、停止、删除、快照、备份、恢复等。支持服务目录的管理，包括服务的添加、

29、删除、配置等功能，根据不同的服务设定不同的管理策略。支持对物理资源的管理，包括物理资源的增加、修改、删除、分配、电源管理等功能。 3D可视化机房监控展现实现数据中心设备物理布局、运行状态信息和设备监控状态信息的3D可视化直观展示，通过热图、物理视图、单机视图等形式，展现设备的CPU利用率、温度、电源状态、网络可用性、运行程序等多种监控信息，并按机柜显示所有设备的状态。 自动化运维实现物理服务器自动发现和自动部署，虚拟机、操作系统、中间件、应用自动部署。 监控管理实现对物理资源、虚拟资源、大数据运行、应用服务进行状况统一监控。 服务管理实现数据资源服务申请和审批、服务情况统计分析、服务质量评价功

30、能。 授权管理建立基于数字证书或终端用户的身份认证和访问控制；建立服务请求方与服务提供方的双方握手协议安全认证机制；建立统一的标准化授权机制，实现基于功能模块、数据项、服务项等不同维度的服务授权。 告警与日志管理实现在物理资源、虚拟资源、应用出现故障时，实时分级发出告警信息；实现对审计日志、系统日志、操作日志等日志信息的记录、追溯、查询、统计、分析、告警等功能。 用户与任务管理实现基于角色的权限控制功能。7.1.9 信息安全等级保护 按照信息安全等级保护三级的标准建立本项目安全防护体系，并通过专业评测机构的信息安全等级保护三级的测评，相关费用由中标方承担。7.2 定制开发7.2.1基于警务实战

31、大数据子系统车辆实战搜索是以搜索为入口，深度分析与车辆相关的所有信息，旨在通过利用我局内部外部海量数据打造车辆的特征画像、轨迹画像，并通过车辆轨迹特征的变化，采用特征标签的方式对车辆驾驶人可能出现的异常特征与行为进行预警。要求实现如下功能：（1）车辆搜索：支持车辆车牌、位置特征等进行精确或模糊分析。（2）车辆高级搜索：支持基于案件和警情，选择案发周边卡口和首次入境的时间范畴，进行相关车辆挖掘的配置。（3）嫌疑车辆全息画像：支持通过后台自动计算，获得车辆基本信息、车辆图片信息、车辆活动规律信息、车主信息等，得到嫌疑车辆的全系多维度信息，并与人员信息关联。（4）历史点位回溯：对嫌疑车辆历史轨迹进行

32、回溯，查看是否有针对于案件或警情的异常行为。（5）虚拟布控：对关注的嫌疑车辆提供一键虚拟布控功能，结合流计算技术，只要在任何一个系统中监测到嫌疑车辆信息就能推送到动态预警系统中。（6）针对指定地区（涉疆、涉藏）车辆进行可视化展示，分析当日车辆的来源城市、在各区域的分布状况。重点关注当日活跃车辆、首次入境的外地车辆、重点人员的外地车辆。7.2.2 基于路面指挥决策的动态预警系统重点车辆动态预警，针对系统中一键虚拟布控的车辆、重点关注车辆、毒驾人员、涉案人员、在逃人员、首次入境车辆进行动态比对，并将计算结果实时推送到移动警务视频系统。针对异常交通状况进行分析研判预警。要求实现如下功能： 车辆行为报警：针对重点关注的车辆进行流计算分析，实时动态的对车辆的最新轨迹进行提醒。 车辆轨迹的快速回溯：基于海量的过车数据，解决传统数