公交数据中心云平台建设方案书课案.docx
《公交数据中心云平台建设方案书课案.docx》由会员分享，可在线阅读，更多相关《公交数据中心云平台建设方案书课案.docx（23页珍藏版）》请在冰豆网上搜索。
公交数据中心云平台建设方案书课案
XX公交数据中心云平台
建设方案
文档状态：
文档编号：
GJ-2014-12
[]Draft
[√]Released
[]Modifying
编撰：
编撰日期：
2014-12-02
保密级别：
内部
文档版本：
1.0.0
XX市公共交通有限责任公司
二〇一四年十二月
东软集团股份有限公司
目录
一、概述1
1.1项目背景1
1.2项目目标1
二、需求分析2
2.1信息化现状分析2
2.2必要性分析3
2.3需求分析3
2.4业务分析4
三、总体方案5
3.1建设思路5
3.2建设原则6
3.3总体建设方案7
3.3.1总体架构概述7
3.3.2总体建设要求11
3.3.3数据集成模式13
3.4数据中心集成平台15
3.4.1数据采集15
3.4.2数据转换16
3.4.3数据分发17
3.4.4管理调度18
3.4.5运行监控18
3.4.6异常处理19
3.4.7系统升级19
3.5数据统计分析平台19
3.5.1数据报表20
3.6运行环境20
四、项目预算21
五、风险分析和控制21
5.1技术风险21
5.2安全风险22
5.3数据质量风险22
5.4实施风险22
5.5管理风险23
5.6需求变更风险23
七、经济及社会效益24
7.1经济效益24
7.2社会效益24
一、概述
1.1项目背景
XX公交数据中心云平台是基于XX智慧快速公交（BRT）系统的基础上而建立，是针对XX公交公司未来信息化建设的实际需求的发展，而建立的实时、准确、高效的综合智能数据中心管理系统。
公交数据中心云平台定位于为公共交通企业提供一个企业运营数据服务平台，它收敛企业各业务系统中的运营数据，按照企业信息模型进行数据整合，形成企业统一数据视图，提供运营数据共享，支撑跨系统数据的应用，并且进行数据质量管理。
公交数据中心云平台能够提供企业全局信息的统一、一致的访问界面，支持企业对分散的信息全面深入的洞察，支撑实现企业不同部门的信息化平台在各个环节上的业务协同，为企业信息共享、数据质量提升和跨系统数据应用等需求提供了统一、高效、高质量的解决方案。
1.2项目目标
数据中心的建设基于XX智慧公共交通云中心并为解决公司完整信息数据的共享，实现业务部门之间的数据交换与数据共享，促进XX公交信息化的发展。
具体目标如下：
建立数据中心的系统平台。
完成相应的应用软件和数据管理系统建设，实现数据的交换、保存、更新、共享、备份、分发和存证等功能，并扩展容灾、备份、挖掘、分析等功能。
（一）建立数据中心的系统平台。
完成相应的应用软件和数据管理系统建设，实现生产数据的交换、保存、更新、共享、备份、分发和存证等功能，并扩展容灾、备份、挖掘、分析等功能。
（二）建立公司生产、管理、财务信息库等共享数据库，为宏观决策提供数据支持。
对基础数据进行集中管理，保证基础数据的一致性、准确性和完整性，为各业务部门提供基础数据支持；
（三）建立数据交换共享和更新维护机制。
实现各业务部门系统之间的数据交换与共享，以及基础数据的标准化、一致化，保证相关数据的及时更新和安全管理，方便业务部门开展工作；
（四）建立数据共享和交换技术标准和相关管理规范，实现各部门业务应用系统的规范建设和业务协同；
（五）为公共服务中心提供数据服务支持，实现面向社会公众的一站式服务；
（六）根据统计数据标准汇集各业务部门的原始个案或统计数据，根据决策支持的需要，整理相关数据，并提供统计分析功能，为领导决策提供数据支持；
（七）为上级监督部门提供提供必要的数据通道，方便实现对公司部门以及公司对象的监管，逐步实现有效的监管支持；
（八）为业务数据库的备份提供存储和备份手段支持，提高业务应用系统的可靠性。
二、需求分析
2.1信息化现状分析
XX公交公司的信息化主要是以XX智慧快速公交（BRT）系统为基础，目前在XX公交公司内部围绕快速公交（BRT）系统已经形成了很多个业务子系统，包括:
BRT自动售检票系统、BRT智能调度系统、车辆定位和无线通信系统、乘客信息服务系统、电子站牌系统、智能客流分析评价系统、智能预警系统、时钟同步、IP数字广播、视频监控及周界防范系统、高清交通视频监控系统、一卡通收费系统等。
由于各种原因，各业务子系统之间在应用或数据等层面上存在彼此分离的局面，他们分别采用了不通的数据库系统，并使用了不同的应用开发技术。
各系统的业务逻辑不同，而且在数据库建设上没有遵循统一的标准，这就形成了公交公司内部的信息孤岛。
2.2必要性分析
随着公交公司信息化建设的要求，各子系统之间需要进行数据共享、交换。
但由于信息孤岛现象的存在，使公司内的一些数据传递往往通过原系统供应商直接进行系统间交换数据的方式进行数据传递，由于原系统之间的技术架构设计不同、数据标准的不同、原厂家技术支持不积极等原因，这样常常造成数据信息不一致或数据丢失等情况，甚至无法实现彼此间的数据共享。
此外，部门之间数据产生和流向的混乱、数据共享程度低、数据标准不统一等现象，不但增加了管理难度，降低了工作效率，而且还制约了公交公司未来的发展。
为了解决以上信息孤岛现象，公交公司迫切需要对现有的系统进行数据整合，在保留原有系统的基础上将各个应用子系统的数据整合成一个无缝整体统一提供数据发布服务平台，公交数据中心云平台提供了数据共享平台解决方案，可实现统一数据处理、发布、共享。
2.3需求分析
通过数据中心云平台的建设实现公交公司各个业务系统之间及公交公司与外部系统之间的信息数据的汇总、查询、共享；根据汇总的数据实现核心系统的报表整合。
数据中心云平台承载着面向XX公交各部门内部的信息系统服务、信息查询以及相关数据汇总、交换等应用服务。
同时数据中心也提供外部数据查询、交换服务的支撑基础，以实现公交公司的信息化系统之间的数据共享；服务器资源合理利用；核心业务数据的备份容灾，最终通过数据中心云平台技术提升数据中心资源使用效率，有效整合系统，提供云容灾，提供应用弹性，提升业务可持续性。
数据中心云平台为XX公交提供统一的通用报表统计分析平台。
通过这一平台，可以充分利用企业信息化建设中积累的重要数据，将数据转换为可辅助企业决策的关键信息，平台充分结合公共交通行业，针对公交行业报表的特点，采用科学、先进的数学模型，立足于一个完整、通用、智能、专业的报表开发平台，提供一个集统计、查询、分析于一身的通用报表平台。
2.4业务分析
数据中心的主要业务包括：
1.从基层或业务系统采集数据，包括基础数据和部分共享业务数据，支持基础和共享数据的更新维护模式；
2.对采集到的数据进行校验和比对，发现冲突时按照共同制订的数据处理规范进行处理，保证数据的一致性和准确性；
3.受理业务系统或基层单位的基础数据使用申请；
4.将整理后的基础数据分发或按需提供给有关部门或单位使用；
5.以中介的方式处理共享业务数据使用申请，并进行备案；
6.对共享业务数据通过数据中心进行存储转发；
7.将共享元数据的信息发布给各业务部门，提供浏览与订阅申请，方便其共享必要信息；
8.提供数据交换平台和接口系统，使数据中心与各部门的数据管理员可以对共享和交换过程进行管理；
9.通过数据交换平台存储和管理公共服务数据，并与外网同步，提供一站式服务；
10.存储和管理统计数据，根据决策支持的需要，整理相关数据，并提供统计分析功能，对数据进行统计和分析，方便领导及时掌握有关情况。
11.定期对业务数据库进行容灾备份；
12.与此相对应，业务部门与数据中心发生的相关业务包括：
13.提供数据或共享元数据给数据中心；
14.申请使用数据中心的基础数据，校准本单位的基础数据；
15.通过数据中心提供的共享元数据信息获取其他单位的数据；
16.审批其他单位的业务数据使用申请，并将数据提供出去；
17.与数据中心交换公共服务数据；
18.提供上级监督部门直接访问业务数据库的通道；
19.提供统计分析数据或原始个案给数据中心，方便主管领导查询；
20.定期将业务数据库备份到数据中心；
三、总体方案
3.1建设思路
遵循“强化数据建设，发挥应用效能，提升服务质量，建立长效机制”的建设思路，确保系统满足近期需求，兼顾未来发展。
“强化数据建设”是支撑未来XX智慧公交数据中心平台的重中之重，通过数据整合平台建设，实现数据共享，进行资源整合，促进管理协同，进一步提升信息的有效组织和有效利用，提高对相关信息系统支撑水平，完善XX公交集团信息化体系。
在系统建设过程中，必须同步建立信息采集、交换和质量保障机制以及运行维护保障机制，以确保城市公共交通信息化建设良性发展。
同时，积极探索和转变交通运输行业发展方式，努力提高交通运输设施、设备的技术水平和信息化水平。
在现有的业务管理信息系统基础上，建设公交系统政务信息交换体系和重大基础性、战略性数据中心。
开展跨部门、跨行业信息交换与共享，提高城市公交体系的科学管理和组织水平。
●强化数据建设
以XX市公共交通有限责任公司公共汽电车车辆、场站、客流等运行状态的动态监测为业务核心，强化行业管理部门与运营企业间的数据交换与共享，确保各类数据的真实性、准确性与及时性。
●发挥应用效能
系统建设应着眼于XX市公共交通有限责任公司应用及为交通行业监管部门提供实时监测行业运行状态、增强服务质量与安全监管能力、提升综合决策水平等，为城市公共交通企业提高运行效率，优化企业管理等发挥应用实效。
●提升服务质量
系统建设应致力于为乘客提供及时准确、便于获取的出行与换乘服务信息，并改进与实时路况信息相结合的动态信息服务，让出行者切实感受到信息服务的便利。
●建立长效机制
在系统建设过程中，必须同步建立信息采集、交换和质量保障机制以及运行维护保障机制，以确保城市公共交通信息化建设良性发展。
3.2建设原则
●规范性
规定平台的设计、开发、实施和维护管理参照中国国家标准、工信部有关交通行业通用的规范、中国的相关标准以及通用的国际规范。
●开放性
平台的各种接口在遵循规范性原则的基础上，保证平台可以集成不同设备厂商、平台或平台供应商、软件供应商的产品；保证平台的软件管理、平台扩容和业务维护不依赖于单一设备厂商、平台或软件供应商的产品。
●扩展性
平台容量、处理能力和业务范围具有良好的扩展能力；保证平台的未来可用，避免重复建设。
同时要考虑平台与其他业务支撑系统的接口。
●安全可靠性
平台必须满足99.999%的可靠性指标，保证7x24小时的服务，应用软件中的任一模块更新、加载时，在不更新与上下模块的接口的前提下，不影响其它模块的运行，并且保证平台与其他相关系统的信息交换过程是安全的。
为保证平台的长期稳定运行，整个系统必须采用多种容错、数据备份等手段，保证系统正常运行，减小系统宕机发生的可能性。
●灵活性
平台应能够适应公交行业的发展，灵活的设计、调整业务处理流程，能够满足支撑公交公司和城市交通相关管理部门IT系统对数据共享的业务需求，同时能够适应行业的未来发展变化。
3.3总体建设方案
3.3.1总体架构概述
数据集成平台是XX市智慧公交系统的信息传输、信息交换总线。
通过数据集成平台将各业务系统数据库中需交换的数据自动上传到数据集成中心库中，并按各业务系统的数据需求将数据集成中心库的数据分发到各业务系统，从而实现数据的统一集成和标准化，为提供数据的综合查询、统计分析奠定数据基础。
同时，保留各业务系统的原有数据库，又确保了各业务系统的完整性。
平台主要完成数据集成过程，其中包含集成过程、集成方法调用以及集成架构和集成策略。
集成的过程即为ETL，它是将数据抽取（Extract）、转换（Transform）、清洗（Cleansing）、装载（Load）的过程，完成数据从数据源向目标数据库。
数据ETL过程通过ETL工具自动进行，实现自动抽取、转换、清洗和装载。
未来XX市智慧公交平台将围绕数据服务进行信息化工作的开展，主要服务体系包括：
服务建设规划
●数据服务建设
将公交公司核心数据进行汇聚，并统一提供全局的数据服务应用，满足公交系统对于信息化服务的基本要求，同时兼顾未来与XX市智慧城市IT建设的同步接轨。
●管理和应用服务建设
以跨业务域的服务台为支撑，面向市民、公交系统办公人员、城市公共交通管理部门提供全生命周期、一站式的服务中心，面向公交公司领导提供辅助决策分析的平台，全面支撑XX市智慧公交的发展战略。
●特色服务建设
围绕XX市公交公司自身特色，基于先进的技术手段，实现相关特色应用服务，进一步扩大信息化的效果。
数据服务建设是XX智慧公交IT战略规划的基石，因此，亟需将XX公交现有的统建系统和自建系统数据收集上来，统一规范编码，实现数据间的关联；统一数据和数据接口的规范和标准，统一资源目录；建立企业级的数据模型；建立企业级服务总线，实现数据的收集和分发。
总体架构参考图
共享数据层通过平台提供的数据集成工具，按照制定的数据转化标准，进行异构数据库数据交换。
支持触发更新、增量更新、日志挖掘、定时抽取、策略抽取等多种同步或异步数据维护方式，并支持Oracle、DB2、SQLServer的主流数据库，以及Mysql、Access、Excel、dBase/Foxbase、TabledText、WebService、JDBC/ODBC等多种数据源。
通过数据集成平台提供了所有系统数据交换的通道，对交换数据能够进行统一的接入和转换处理。
避免系统与系统直接点对点的数据交换，提高今后新系统接入的可维护性，同时也大大降低多系统的维护成本。
数据集成平台应实现以下功能：
1、对于现有系统和在建系统以及以后新增加的系统，通过在数据交换节点上配置数据交换适配器，可以方便地将其封装成标准的接口（如Webservice服务），从而能够接入交换平台并提供一致的访问行为和接口。
2、整个数据共享和交换的底层实现和存储机制对各应用节点是透明的。
该结构属于松耦合，很容易进行层次化的结构扩展。
3、数据共享平台提供数据共享过程的系统配置、安全监控告警和异常处理等功能，主要完成接口、管理配置、监控管理等功能。
4、数据支持以XML格式在共享节点之间采用端对端（P2P）对等的方式直接交换，数据路由可根据数据内容自动分发，包括节点地址信息、业务数据信息等；数据路由也可按业务规则进行流转，而且支持动态灵活地连接和构建新的业务系统。
5、支持与多种数据库（如Oracle、Sybase、MSSQL、DB2等）无缝对接，可重用的接口适配器支持配置管理。
6、支持多种通讯传输方式如HTTPS、异步可靠事件方式（JMS、WEB服务等）。
7、提供集成一体化的远程统一部署、监控、跟踪、日志、和测试功能，适应集中部署和管理的需求。
8、平台提供丰富的API接口供应用系统直接使用，以支持各节点的异构环境和操作系统平台，并支持Portal（B/S）接口集成。
数据集成平台参考架构体系
3.3.2总体建设要求
数据集成平台系统的建设需要借鉴相关行业的系统建设的经验，对业务的发展保持良好的前瞻性，保证系统对业务的完善支撑。
项目应用软件的开发应遵循如下设计要求：
●实用性、易操作性
数据集成平台系统需具有良好的人机界面，操作方便、灵活。
采用简洁、直观、友好的图形化中文界面，支持鼠标操作；对于业务处理界面，可以保证操作人员能够利用键盘操作；对于常用环节，系统应设置快捷键以方便功能间的切换；操作及选择键（热键、菜单选择等）的功能定义在全系统保持一致。
●接口标准性、一致性
数据集成平台系统接口必须提供系统横向、纵向间的统一、稳定接口。
实现统一接口协议的处理。
系统有众多的接口，要求将接口交互功能与核心业务功能分离，实现单独的接口组件，保证核心业务代码不与接口直接相关。
●开放性、灵活性
数据集成平台系统应采用开放的系统体系设计结构，兼容主流的系统软件（数据库、中间件）和硬件平台（主机、存储、网络设备）。
系统设计可充分利用现有设备资源，系统能够满足XX公交公司对未来情况变化的需要。
软件、硬件平台应具有良好的可扩充、扩展能力，能够按照系统的分步实施进程方便地进行系统的升级和更新，以适应系统不断完善和发展。
数据集成平台系统要求实现对多业务的支持能力，能够适应不同的XX公交业务的特性和功能，能够采用统一的模型完成对多业务的融合处理。
要求系统模型抽象化，核心功能组件化，业务功能插件化；采用多层软件体系结构，将数据、业务逻辑、业务表现分开。
●可扩展性、可复用性
数据集成平台系统能够满足业务需求的长远目标。
扩展性原则规定本系统的系统容量、处理能力和业务范围具有良好的扩展能力；规定应用软件设计应满足XX公交今后的业务和用户规模的增长，保护投资，避免重复建设。
数据集成平台系统必须具有良好的可复用性，通过组件化设计，实现业务过程组件与业务流程的分离，实现业务过程组件的复用。
●可用性、容错性、可靠性
数据集成平台系统在设计过程中，必须考虑系统容错处理，能够对操作人员的误操作进行提示。
并可以监控系统的运行情况，提高系统的可靠性，从而提高业务运营的水平，保证服务质量。
数据集成平台系统必须保证稳定可靠的运行，并保证数据的安全与完整，在系统出现问题时，必须保证数据的完整、可恢复以及事务的完整性。
系统应采用多种系统容错手段，包括双机或镜像备份工作方式，在数据丢失的情况下，可利用备份的数据在较短时间内进行恢复，核心系统不应存在单点故障。
安全可靠性规定数据集成平台系统必须满足可靠性指标，保证7x24小时的服务；保证系统在运营过程中管理的各种资料的信息安全；保证信息交换过程的安全；保证系统业务管理体系的安全。
应具有完整的操作权限管理功能和完善的系统安全机制，能够对每个操作员的每次操作有详细的记录，对每次非法操作产生告警并能及时纠正等。
3.3.3数据集成模式
基于对XX公交行业现有IT建设和未来IT规划，在实施数据集成工作，构建统一数据共享服务平台过程中，可能会遇到不同集成模式，以下是三种典型集成模式参考模型：
●集中模式
该应用场景下用户一般需要实现组织内部各个业务系统间的数据集成，以及多数据源到数据中心的数据整合过程。
场景主要特点是网络环境单一、数据源类型多样化（数据库、各种应用系统接口、文件等）。
集中模式部署参考图
●网络隔离模式
该应用场景下用户一般需要实现对分布在不同域内两数据源之间点对点的业务数据交换过程。
场景主要特点是数据传输环境复杂，对数据传输的安全性要求较高，网络之间往往有物理隔离或网闸，有可能需要人工参与数据传输。
产品对此提供了跨物理隔离或网闸隔离域之间数据传输的完整解决方案。
网络隔离模式部署参考图
●分布式模式
在多个分级域之间（如集团、集团所属分公司、子公司之间）实现数据共享。
场景主要特点是部署环境跨地域和网络域范围较大，各个域内数据访问相对独立，跨网络域间数据访问规则按所属级别严格控制。
分布式模式部署参考图
3.4数据中心集成平台
数据中心集成平台承载着面向XX公交各部门内部的信息系统服务、信息查询以及相关数据汇总、交换等应用服务。
同时数据中心也提供外部数据查询、交换服务的支撑基础，以实现公交公司的信息化系统之间的数据共享；服务器资源合理利用；核心业务数据的备份容灾，最终通过数据中心云平台技术提升数据中心资源使用效率，有效整合系统，提供云容灾，提供应用弹性，提升业务可持续性。
3.4.1数据采集
数据采集就是从数据源抽取出所需的数据的过程。
数据抽取后，再经过数据清洗、转换，最终按照预先定义好的数据集成平台接口模型，将数据加载到数据仓库中去。
数据采集必须能够满足系统的需要，又能保证不影响业务系统的性能，所以进行数据抽取时应制定相应的策略，包括抽取方式、抽取时机、抽取周期等内容。
数据抽取时须充分考虑以下因素，并制定相应的策略：
1、满足对多种不同的数据来源的抽取处理，包括网络内各个业务系统的数据。
2、支持多种不同系统平台和数据类型的数据抽取，包括各种关系型数据库系统、各种文件方式的源数据。
3、充分考虑数据源系统的性能要求。
根据业务量大小和数据量大小设计采集时间、内容与方式，尽量减少对数据源系统的影响。
4、采集规则配置：
对数据采集需要的规则进行配置，包括采集源、采集方式、采集范围、源数据格式、采集频度、接口方式等信息配置的能力。
5、信息采集：
从各业务单元系统获取用于数据管理的原始数据的过程，此功能执行数据采集的动作，支持联机（定时）采集、在线（实时）采集、脱机采集等。
6、信息校验：
对采集的数据进行完整性和准确性的校验。
7、增量采集：
要求数据集成平台系统能够支持数据的增量抽取，避免改造原有系统，禁止在源数据库服务器中安装客户端、插件等任何程序，不得更改源数据库，不得占用源数据库的系统资源，不在源数据库服务器上进行日志解析。
8、断点续传，如因网络中断、源端异常或目标端异常等原因导致同步中断，在异常排除后，系统能够自动从断点继续进行同步，无需人工干预。
3.4.2数据转换
数据转换主要完成从源数据向目标数据转换的各种处理。
主要功能：
●规则配置
对数据处理需要的规则进行配置，包括对采集的数据进行格式化处理、分拣过滤、排重、稽核与异常数据的处理等信息配置的能力。
●格式化
根据数据采集、数据处理的格式定义，对采集的原始数据进行标准/统一格式转换等处理，为其他模块提供标准格式的数据。
●分拣过滤
分拣包括拆分、合并、关联。
●稽核与异常数据处理
稽核是指对数据处理过程中服务使用记录的完整性、有效性和准确性进行校验，并形成错误记录。
异常数据处理是指对稽核过程中形成的错误记录进行存储、分析、修正、重新处理的功能。
3.4.3数据分发
数据分发就是将从数据源系统中抽取、转换后的数据加载到数据集成平台系统中，并分发到各需要的系统。
要求数据工具必须具有高效的加载性能。
根据业务数据的实际情况，加载周期要综合考虑业务分析需求和系统加载的代价，对不同业务系统的数据采用不同的加载周期，但必须保持同一时间业务数据的完整性。
主要功能：
●分发规则配置
对数据交换的规则进行配置，包括交换目标对象、数据格式、分发方式、分发频度等信息。
●分发数据生成
要生成分发给其它平台的数据，根据数据交换的规则，针对不同的目标对象，按照已配置的数据格式生成分发数据为其它模块提供数据源信息。
●数据发送
数据处理将处理后的标准服务使用记录，根据数据分发规则配置，将数据完整、正确的送给目标系统。
●分发方式
针对不同的目标对象，选择合适的分发方式，系统应支持FTP、FTPS、HTTP、JMS、WebService等传输方式。
3.4.4管理调度
管理调度是过程中的统一调度者和指挥者，它把复杂的数据处理过程中各个步骤整合成一个整体。
管理调度程序的主要功能主要包括任务的调度和监控。
调度要求包括三个方面的统一：
统一界面、统一配置、统一调度。
1、在界面方面，要求实现统一的图形界面方式，且清晰易懂。
2、在配置方面，要求具备以下要素的配置功能：
自动调度时间的设置、各调度要素之间逻辑关系的设置、指定调度要素的设置（包含指定数据源系统、功能模块、接口表等）、最大任务数的设置。
3、在统一调度方面，要求在通过统一界面进行统一配置后，能够统一的进行调度程序的启动和停止。
在不同阶段调用相应的资源进行处理，可以支撑整个调度过程中的流水线并行数据处理。
支持手动触发
升级会员 