XX云数据中心项目技术方案.docx

1、XX云数据中心项目技术方案云数据中心建设技术方案及实施、培训方案1.云数据中心建设项目设计方案1.1.项目概述1.1.1.深圳市城市轨道交通网络总体架构根据功能一般可分为5个层面，第一层为深圳市轨道交通清分系统，与深圳市公共交通“深圳通”系统互联；第二层为轨道交通AFC多线路中心CLC系统和4号线中央计算机系统、第三层为运行在线路各车站的AFC车站计算机系统、第四层为车站的AFC终端设备，第五层为IC卡车票。深圳市城市轨道交通AFC系统网络架构图1.1.2.深圳市轨道交通清分中心概况深圳市城市轨道交通清分中心（ACC）负责统一制定、发行和管理轨道交通专用票，组织制订轨道交通票务政策，与深圳通系

2、统及各轨道交通自动售检票系统（以下简称“AFC”）进行数据交换，按照确定的清分规则对票款收入进行收益清分。深圳市城市轨道交通已建设深圳市轨道交通网络运营控制中心（以下简称NOCC），根据NOCC的功能定位，清分中心扩容后（全线网所有线路容量）迁移到深圳市轨道交通NOCC，ACC扩容搬迁工程已于2016年完成并开通运营。1.1.3.深圳市轨道交通AFC系统线网中心（CLC）概况CLC为深圳市城市轨道交通三期工程同期建设，已于2016年中建成。CLC属于NOCC设计内容，不在本工程AFC系统筹建范围内。4号线AFC系统自建LCC，不接入CLC系统进行统一管理。CLC系统是AFC系统多个线路中心系统

3、的集合，CLC系统满足深圳轨道交通2020年开通线路接入及运营要求，并已适当考虑预留，CLC系统是按满足12条线、500个车站的接入能力进行建设。CLC系统主要由6个子系统构成：1） 主中心系统；2） 调试中心系统；3） 维修中心系统；4） 票务中心系统；5） 灾备中心系统；6） 检测中心系统。CLC系统可以控制诸如车站计算机系统和自动售检票终端之类的低层系统，可以将指定设备的故障数据实时传送到维护计算机以帮助系统操作员迅速修复故障设备。1.1.4.4号线已开通线路和系统概况深圳市城市轨道交通4号线（龙华线）既有工程，线路全长20.5km，共设15座车站，1座龙华车辆段，已于2011年6月建成

4、通车。4号线一期工程于2004年12月开通运营，共设5座车站，AFC系统接入1号线线路中心进行统一运营管理。2011年6月,4号线二期工程建成，建设独立的线路中心系统（LCC），各车站SC及终端设备接入4号线二期的LCC，同时在线路中心新设接入服务器，4号线一期工程5座车站通过接入服务器进行接口转换后，接入4号线二期的LCC，实现4号线一期和二期全线车站的统一运营管理。1.1.5.本项目工程概况深圳市城市轨道交通4号线三期工程为既有4号线的延伸线，由4号线二期工程终点清湖站北端引出，自南至北依次沿和平路、观澜大道、高尔夫大道敷设，终点设于牛湖站。4号线三期工程线路正线全长10.785km，其中

5、高架段1.753km，地下段8.840km，过渡段0.191km。全线设8座车站，高架站1座（清华站），其它7站为地下站；与其它轨道交通换乘站2座，分别在长湖站（与规划轨道交通18号线换乘），在松元厦站与规划轨道交通10号线支线（中轴线）换乘；另外在观澜站与龙华有轨电车示范线换乘；新建观澜停车场1座，停车场出入线于牛湖站站前双线接轨停车场。新建长坑主变电所1座。1.1.6.本项目AFC系统概况本工程AFC系统在8个车站新设AFC车站计算机系统；在观澜停车场设培训中心系统；在龙华车辆段电子工厂维修车间增设检修平台；本工程AFC系统不再单独设置线路中心系统，在4号线既有LCC的基础上进行软硬件升级

6、更新，使4号线全线路各车站接受一个LCC系统的控制，实现本工程全线AFC系统的运营、管理需求。本工程AFC系统采用非接触式IC卡制式，计程计时票制。系统建成后，将实现轨道交通清分中心（ACC）、4号线线路中心（LCC）、各车站AFC系统三级管理结构，通过不同的管理手段将实现对票、钱、人、物的全方位管理，以确保系统可靠、安全的运行。1.1.7.三期AFC系统需与以下系统接口：深圳通系统清分中心ACC深圳市轨道交通云平台系统4号线既有AFC系统第三方支付主控系统（MCS/UPS电源）主体一标主体二标共性运营设施NOCC1.1.8.需求理解及分析1.1.8.1.构建云数据中心参考深圳市城市轨道交通系

7、统二、三期项目的建设标准，结合云技术在城市轨道交通的研究应用科研，为充分利用当前综合信息处理平台技术的科技成果，深圳城市轨道交通4号线三期工程AFC系统考虑应用云计算技术，建设基于云计算技术的AFC业务平台，下文简称该平台为云平台。根据港铁AFC IT基础设施面临的问题，并结合国家数字化发展战略及港铁AFC数据中心现状综合分析，港铁AFC建设云数据中心迫在眉睫，且符合国家战略方针；需要构建云数据中心，实现数据可管可控，IT资源根据业务随需提供；新业务开发敏捷交付；并通过云安全加固及云中心建设，实现数据的安全、可管、可控，满足云等保三级要求。AFC系统云化后，将港铁LCC、互联网售检票平台、车站

8、计算机系统合并为第二层。1.1.8.2.业务云化及运维构建云中心后，需充分考虑现有业务上云需求，并尽量不影响现有生产业务，对于业务迁移需要有详细的规划和验证方案；同时充分考虑业务迁移后的云运维方案，让复杂的云中心IT运维变得直观简单。1.2.项目建设目标1.2.1.建设云数据中心，提供IaaS和PaaS层云服务搭建云基础设施资源池，包括计算、存储、网络、安全、容器等资源池，通过云管理平台进行管理，提供云主机、裸金属、云存储、云网络、云安全组、弹性IP、云防火墙、云负载均衡、云IPS、VDC编排等IaaS层云服务，以及PaaS层云服务，包括Oracle、MySQL、SQL Server等PaaS

9、层云服务。1.2.2.构建云安全防护体系，满足安全等级保护三级要求以等级保护为指导，从网络、主机、应用、数据等多个层面出发，构建云安全防护体系，实现事前防御、事中控制、事后审计多维度立体化安全防御体系，满足安全等级保护三级要求。并构建安全态势感知平台，能够通过图形化分析和展示网络安全状况。1.2.3.部署云运维管理平台，图形化展示业务运行状况对港铁AFC云数据中心所有IT资源实现全局纳管，统一监控，集中维护，有效排障；能够实现对计算、存储、网络、安全、操作系统、应用、数据库、中间件等的统一监控，并可通过数据建模，以业务为视角，通过业务健康度、繁忙度和可用度等指标，直观展示业务的运行状况，一旦健

10、康度下降，可通过图形化界面快速定位和分析故障原因。1.3.项目设计原则（1）统一规范由于云计算是一个复杂的体系，本项目设计遵循在统一的框架体系下，参考国际国内各方面的标准与规范，严格遵从各项技术规定，做好系统的标准化设计与施工。（2）成熟稳定由于云计算的发展变化很快，而本项目建设时间紧，涉及面广，应用性强，因此本项目设计，选成熟稳定的技术和产品，充分考虑冗余、容错能力；合理设计网络架构，制定可靠的网络、计算、存储备份策略，保障故障自愈能力，最大限度支持港铁AFC系统正常运行，确保建成的港铁AFC云服务的连续性，同时节约项目施工时间。（3）高可用性关键设备和链路采取冗余设计，保障在设备或链路出现

11、故障的情况下，服务不间断；同时，综合利用大二层迁移、数据远程复制等技术实现港铁AFC云数据中心与同城容灾中心、以及未来异地容灾中心间的业务及数据备份，保障在数据中心在不同程度故障的情况下业务能够快速切换，不影响用户业务。（4）业务需求快速响应通过部署具备云业务自动化管理的云平台，自动提醒相关人员对业务部门提交的需求电子流进行需求审核，并为业务部门创建、分配相应虚拟机资源，无需传统数据中心硬件设备选型、采购、上线、配置等复杂流程，实现业务上线时间最短可达半小时，大大提升数据中心对业务部门的响应速度。（5）运维高效通过建设集设备管理、业务管理、状态监控、事件分析于一体的云运维管理平台，降低运维复杂

12、度和系统故障率，提升故障定位及恢复效率。（6）扩展灵活选用具备冗余业务插槽、支持功能和性能灵活扩展的设备，实现在不影响现有业务的前提下进行网络扩容，满足不断增长的业务对数据中心功能和性能扩展的需求。（7）全方位安全防御港铁AFC云数据中心方案设计是以公安部信息系统安全保护等级定级指南和信息系统安全等级保护测评准则为指导，从网络、主机、应用、数据等多层面综合考虑，建设全方位安全防御体系。1.4.方案设计总体思路1）基于IaaS+PaaS云管理平台建设的自动化云数据中心设计本项目设计通过计算、存储、网络及安全虚拟化系统建设的云数据中心，采用云管理平台进行资源的统一管理，并提供自助式的云服务，能有效

13、实现港铁AFC信息系统的技术标准化和管理规范化，为港铁AFC信息系统提供更好的支撑。云管理平台设计在虚拟化技术的支撑下，对包括计算资源、存储资源、网络资源、应用资源等在内的基础架构及应用软件进行管理，实现按需的、自动化的、可计量的对基础架构资源进行分配，并可交付开发语言环境及应用软件等PaaS资源，对应用关联关系进行编排等；同时，实现对IaaS层及PaaS层资源使用情况和健康情况进行监控和管理。2）基于软件定义+网络虚拟化动态灵活的云网融合设计云数据中心引入服务器虚拟化技术后，对网络要求大二层设计，传统的VLAN技术存在跨三层网络的限制（特别是在跨数据中心），无法做到二层透传，而基于新一代Vx

14、LAN技术可实现三层网络透传，在物理网络上叠加一个软件定义的逻辑网络，物理网络不变，通过定义其上的逻辑网络，实现跨三层网络的二层透传，从而大二层网络的扩展问题。软件定义+网络虚拟化利用标准的VxLAN+EVPN协议，通过软件定义控制器与VxLAN交换机来捕获云环境中新上线虚拟机所发出的报文，再根据捕获到的报文特征来感知虚拟机启动或迁移事件与虚拟机接入位置。基于这一技术，可以将获取到的虚拟机位置信息通知软件定义网络控制器，软件定义网络控制器进而在网络设备上自动下发虚拟机相关的网络策略，实现网络自动配置，让虚拟机上的业务能够被正确地访问，这一过程全部是自动化处理的，从而保证了网络配置的正确性与快速

15、下发，实现网络动态感知虚拟机迁移，实现网络策略的动态跟随，真正实现云、网融合。3）基于软件定义的信息安全与基础资源动态调度设计虚拟化和云的引入，形成计算、存储、网络及安全资源池，资源池化后网络边界模糊，需要引入新的技术解决虚拟化环境的隔离能力，并且能够实现资源池的基础资源能够在不同租户间的动态调度能力。基于软件定义技术，通过将计算资源、存储资源、网络及安全资源分配给不同租户，构成虚拟云平台，虚拟云平台之间可以实现有效的、安全的隔离，使之符合安全等保(等保三级)的要求；并且通过云管理平台能够实现基础资源在不同的虚拟数据中心间灵活调度，真正实现云计算数据中心资源的动态、按需的分配/调度和提供资源，

16、为港铁AFC业务系统弹性自动化扩展提供支撑。1.5.总体方案架构设计1.5.1.港铁AFC云平台架构设计港铁AFC云数据中心云平台总计架构H3C设计，包含计算、存储、网络、安全等底层基础设施资源池，通过资源池化软件（H3C CAS计算虚拟化、H3C ONEStor存储虚拟化、H3C VCFC网络虚拟化、H3C 安全虚拟化等），将IT基础设施逻辑成资源池，并通过上层云管理平台进行管理，为港铁AFC业务提供IaaS+PaaS层云服务，并提供云安全、云运营和云运维服务。如下图所示：1.5.2.新建云数据中心架构设计深圳地铁4号线AFC系统云化改造工程建设基于云计算技术的融合统一业务平台，承载自动售检

17、票AFC系统的中心计算机系统、车站计算机系统、互联网二维码乘车系统、银联卡乘车等子系统。1) 建设自动售检票AFC系统云平台，相关数据在控制中心集中收集、处理、存储；部署统一的运维管理系统；部署统一的云安全资源池。2) 云平台提供虚拟机和容器资源供业务系统使用。3) 部署云平台安全管理系统，云平台系统应满足三级等保要求。4) 在控制中心统一设置云计算平台展示系统，实现数据分析展示、云平台管理展示、IT系统监控展示等功能。5) 所有网络，安全，服务器等基础设施需要被云平台统一纳管和调用。本项目融合云平台总体逻辑架构如下图所示，主要由车站的数据采集、接入，骨干传输网络，控制中心的基础设施、云服务、

18、应用服务、展示等各层组成。图2.1-1 云平台逻辑架构图1）数据采集层由车站各类售检票设备组成，如iTVM/TVM、iAGM/AGM、BOM、AVM等，完成各类数据采集上报。2）接入设备层由车站接入交换机组成环网，接入各数据采集层设备及工作站。3）承载层由中心交换机与车站交换机组成的RRPP骨干环网，环网带宽20G。此外还有第三方支付的出口专线，满足互联网购票的需求。4）基础设施层服务器、存储、网络、安全等物理基础设施，构成融合资源池的基础架构。5）资源池层资源池层提供基础的计算、存储、安全和网络虚拟化的能力。通过虚拟化软件，对计算、存储、安全、网络等物理资源进行虚拟化，提供统一的计算、存储、

19、安全、网络资源池。云资源池层同时提供本地的基础运维能力，包括对本地基础设施的告警、性能、拓扑和监控等。6）云服务层云服务层部署云平台管理软件，匹配业务场景，通过服务目录实现资源的二级运营服务，如通过VDC服务进行资源的灵活分配；VDC内部通过云主机服务、云存储服务、弹性IP服务、物理机服务等提供自助资源发放，实现IaaS。对于上层AFC系统软件的微服务架构，云服务层还必须提供PaaS容器功能。为方便管理，IaaS和PaaS必须在同一平台下提供。9）展示层提供HMI、Portal展示服务。云平台主要承载4号线及后续可能扩容的其他线路AFC业务应用系统。深圳城市轨道交通4号线AFC系统采用云计算模

20、式进行建设，主要采用服务器虚拟化、网络虚拟化、云安全和云计算管理技术构建易于管理、动态高效、灵活扩展、稳定可靠、按需使用的云计算模式的数据中心。服务器/网络 /存储/安全虚拟化主要为各业务系统提供计算/网络/存储/安全资源服务。港铁AFC系统原互联网络架构说明：本次云平台硬件架构设计如下：整网提供业务区、安全资源和管理区，在安全资源区设置专门的安全资源池，承担云内部的安全防护区域。如上图，从业务场景化及模块化的角度，设计包含：关键业务区（AFC小型机数据库）、业务区（二维码乘车、金融IC卡、深圳通二维码等）、云管理区（云平台、云运维平台、SDN控制平台、堡垒机等运维安全平台）、测试培训中心（业

21、务测试及业务培训等），技术架构上，包含网络资源池架构、计算资源池架构、存储资源池架构（含对象存储及NAS存储）、安全资源池架构、以及云管理架构。考虑对云数据中心的可视化、强管控，配备一套云运维管理平台，实现对云数据中心的IT基础设施的统一管理。为保证数据可靠性，设计包含容灾解决方案，配备一套备份系统，实现对操作系统、业务数据和虚拟机镜像文件的备份。1.6.详细设计方案1.6.1.云管理平台设计方案1.6.1.1.云管理平台架构设计港铁AFC云管理平台设计，采用H3Cloud OS云管理平台，基于Openstack体系架构，是一套可根据港铁AFC实际业务需求而进行深度定制的云管理平台，在继承原有

22、OpenStack架构灵活、扩展性强、开放性和兼容度高的基础上，强化系统稳定性和可靠性。基于租户到应用的端到端的云服务配置和管理，将用户申请的服务组装成服务链，统一管理和配置。通过对租户的分级管理，实现了私有云多级资源分配的要求，通过定制个性化的展示界面以及与港铁AFC现有业务流程对接。云管理平台整体框架如下：云管理平台是云业务的管理中心，可以融合资源池化、生命周期管理、业务中间件管理、租户管理、身份认证、安全管理、计费与账务、服务运营、业务流程自动化等内容，是调度、管理云资源必不可少的手段。1.6.1.1.1.自服务门户云门户portal为港铁AFC云数据中心资源用户申请、管理员审核、资源状

23、态监控、费用清单等提供统一的入口，界面如下图所示：模块：1)首页：显示代办流程、我的流程、费用情况、资源监控、通知公告等2)资源申请流程：资源申请、资源变更、我的流程、代办流程、已办流程3)监控管理：以项目为单位，监控所有资源的运行状态；4)费用清单：按月、季度、年统计资源计费情况；5)系统管理：为系统管理员管理用户信息。1.6.1.1.2.云服务目录港铁AFC云平台H3C设计具有强大的资源抽象和提供能力，能够将数据中心中IT资源以云服务的方式向用户提供，可以将传统数据中心中计算、网络、存储、安全、应用等资源作为云资源向用户发布，以云服务目录的形式呈现，服务目录中包括：云主机、裸金属、云存储、

24、云网络、云安全组、弹性IP、云防火墙、云负载均衡、云IPS、VDC编排等IaaS层云服务，以及PaaS层云服务，包括Oracle、MySQL、SQL Server等PaaS层云服务。1.6.1.1.3.云租户管理 H3Cloud OS云管理平台搭建完成以后，需经过一些初始化配置。由云管理员完成创建组织/租户，分配资源限额、定义审批流程和权限等操作以后，租户就能通过Portal门户申请云资源，在审批完成以后由云管理平台自动完成资源开通，交付给租户使用。租户可通过Portal对所申请资源进行自主的管控。组织架构定义是云管理平台的基础，几乎所有的云管理平台需求都涉及用户和组织关系，这里牵涉到适应集团

25、租户不同的定制需求。云管理平台支持定制多级组织嵌套，每级组织都会划分自己的资源（CPU、内存、存储、网络等）和用户。提供了多种用户的角色，功能视角也不同。运维管理人员专注于对池化资源的部署分发、服务编排、应用监控，定制流程和计费模板。IT主管作为私有云的管理员，关注云容量的规划、服务的质量评价、计费营账报表以及绩效考核等。对于终端用户，更关心vDC服务的申请、流程审批、工单问答以及实时账单等。用户通过网络进行二层隔离，每个网络都设定了VxLAN标识和IP地址池规划。用户可以使用多个网络以支持不同场景的业务和隔离需求。例如在SAP中，我们定义生产流程为4个阶段：开发、测试、预生产和正式运行。用户

26、可以将处在不同阶段的应用部署在不同的隔离网络中，通过应用迁移实现阶段和环境的推进。1.6.1.1.4.云计费管理云管理平台针对服务类型和服务时间提供灵活的计费方式。两种策略可以不同。计费策略自定义，基于云服务(主机、存储、网络、安全、容器、数据库、应用等)对资产进行数据采集、计量、预处理，提供账单、结算报表。计费策略可以定制结算周期，最小计费单位等。整个云数据中心有一个基本使用费用（类似月租费），然后加上各个资源申请使用的单个计费。各个计费资源，例如CPU，也有初始基本费用和后续递增费用。1.6.1.1.5.云订单管理港铁AFC内部用户以项目为单位在H3Cloud OS云管理平台上可以申请云资

27、源，用户填写完申请单，生成业务订单，提交到资源审核管理员，启动资源申请流程，一直到资源申请流程结束，管理员可以启动开通资源，创建实际的资源。1.6.1.1.6.服务流程管理1.2.3.4.5.6.7.7.1.7.1.1.7.1.1.1.7.1.1.2.7.1.1.3.7.1.1.4.7.1.1.5.7.1.1.6.1.6.1.1.6.1.云服务使用流程除了传统的购买单个主机vHost、单个应用vApp功能外，H3Cloud OS云管理平台重点体现的是定制vDC服务。通过服务编排打通端网云，生成以应用为中心的虚拟数据中心服务模板，根据业务需要，每个业务都可逻辑出一整套虚拟数据中心环境，实现业务与

28、业务之间的强隔离，并对服务的生命周期进行管理，满足等保要求。1.6.1.1.6.2.云服务的申请与审批审批是港铁AFC最常见的流程，同时也是个性化最强的业务，需要让H3Cloud OS云管理平台服务申请的审批能适应港铁AFC不同部门的需要。本方案设计服务流程管理工具将审批定义为包含多个有序任务的流，可以定制不同的流程模板，模板支持多级审批，可以定制个性化的审批页面，最大程度满足不同部门的定制化需求。用户可以将模板与对应的审批流程绑定，不同的审批可以绑定不同的定制流程，审批通过后，即可创建相关云服务及资源。1.6.1.1.7.系统管理系统管理是对系统的一些全局信息进行统一的管理和使用，包括日志管

29、理、统计报表、角色管理、权限管理、系统公告和运维管理。7.1.1.7.1.6.1.1.7.1.日志管理能够对各类系统日志进行记录和管理，包括各种非流程控制的配置数据的变动历史，包括各种参数的配置、各种基础数据的修改等。并支持用户操作日志和管理平台运行日志数据的采集和分析，为运维管理和审计工作提供依据。1.6.1.1.7.2.统计报表以H3Cloud OS云管理平台中的各种信息为基础，根据云管理平台使用者的需求，实时或周期性的生成各类报表，以可视化图表的形式进行展示，并可提供模板定制、数据导出等功能。1.6.1.1.7.3.角色管理云管理平台能够实现角色的创建、查询和删除，角色权限定义、查询和分

30、配等功能，以便于实现对不同角色的权限分配。1.6.1.1.7.4.权限管理为保证系统的安全，对不用的用户进行分角色、分级别的设置，并为其赋予不同的使用权限。权限管理对角色信息进行管理，包括角色的定义，角色信息的维护及对角色进行系统相关菜单及按钮访问权限设置，同时对数据可访问范围进行划分，并对划分后的信息进行维护。如全局管理员拥有系统最大的管理权限，可以对系统进行配置，账户管理，权限管理。租户管理员拥有对该租户对应资源的最大管理权限，可以在所属资源内进行帐号和权限的管理。1.6.1.1.7.5.系统公告系统公告用于在本系统中录入公告信息，并发送给各租户部门或单位管理人员及维护人员。1.6.1.1

31、.7.6.系统配置系统的运行需要与实际的环境要求相一致，实际环境的配置应该可以通过界面进行简单的配置来完成。系统的基本配置应包括：时区配置，多语言支持的配置， NTP服务器配置，系统日志等级配置，会话超时间隔设置，监控时间间隔。1.6.1.2.IaaS层服务设计1.6.1.2.1.云主机服务云主机服务是港铁AFC云在基础设施应用上的重要组成部分。港铁AFC云中云主机服务方案设计是让港铁AFC完全控制自己的计算资源，当计算资源需求发生改变时，可以按照港铁AFC云提供的资源套餐随时进行计算资源的提升。云主机服务整合了对于港铁AFC云主机服务的常用管理功能，通过云主机服务可以看到云主机服务的配置信息，而且可以对云主机服务执行重启、关机、启动、销毁、远程连接等操作。而且还可以随时查看最近八小时、最近一天、最近两周、最近一月和最近半年的云主机服务的监控信息，监控信息包括：CPU利用率、内存利用率、磁盘IO和网络流量。云主机的规格可按如下设置（后续根据实际详细调研需求再进行自定义）：云主机及操作系统一核2GBlinux系统盘不低于20G，Windows系统盘不低于40G4GB两核4GB8GB四核8GB12GB16GB八核16GB24GB32GB1.2.3.4.5.