银行开发测试云平台立项分析报告.docx

1、银行开发测试云平台立项分析报告银行开发测试云平台立项分析报告目录第1章 项目综述 31.1 项目背景 31.2 发展规划 4第2章 需求分析 62.1 我们对需求的理解 62.2 我们对开发测试业务流程的理解 8第3章 建设目标 103.1 本期目标 103.1.1 SPDB Cloud Web Services统一接口 103.1.2 建立以自服务为中心的资源在线审批流程 103.1.3 建立资源的自动化部署 103.1.4 建立平台的自动化部署 103.1.5 工单管理 113.1.6 资源使用规范和生命周期管理 113.1.7 监控与容量管理 113.2 未来发展目标 11第一步，开发测

2、试云 11第二步, 开发测试与非关键业务的半融合云 12第三步，生产融合云 12第4章 预期收益 134.1 规范化开发测试的资源管理流程 134.2 提高资源的部署效率和资源利用率 134.3 敏捷开发与DevOps 13第5章 远景规划 145.1 第一期：立足于IaaS，实现初级PaaS 145.2 第二期；优化IaaS流程，向高级PaaS演进 145.3 敏捷开发与DevOps一体化，促进业务敏捷 14第1章 项目综述1.1 项目背景随着银行新一代系统建设的推进，应用系统的更新换代越来越迅速。互联网金融的兴起也对业务需求的敏捷性提出了越来越高的要求。时代的发展对银行开发测试项目的顺利有

3、效进行提出了越来越高的挑战，采用云计算的模式管理开发测试资源，促进资源部署的敏捷性是大势所趋。开发测试云的建设将促进敏捷开发，及时响应业务需求，加快开发、测试、上线的周期。云计算是一种具备高度扩展能力的弹性技术服务，用户能够通过网络，按需使用。通过弹性共享的基础架构，智能自动的各级资源管理，简便可控的服务交付，云计算可以助力解决传统开发测试环境架构的沉疴，集中资源创新，建立新的生态环境，真正实现开发测试中心的集约化可持续发展的模式。开发测试云的建设目标是利用先进的云计算技术，整合开发测试中心现有系统软硬件资源，构建包含存储集中、计算资源集中、整合平台环境自动化部署管理的开发测试云平台。本期通过

4、IaaS云的建设，推进开发测试资源环境的运维管理标准化，资源审批流程化，中间件和数据库部署的自动化。未来基于本期IaaS打下的基础，促进PaaS平台云的落地，实现开发框架支撑平台的自助化，参数化和自动化。基于本期开发测试云的建设，我们建议银行的开发测试与运维流程向DevOps进行演进，HP开发测试云平台已经为DevOps的落地奠定了资源设施和流程编排的基础。DevOps是一组过程、方法与系统的统称，用于促进开发、技术运营和质量保障（QA）部门之间的沟通、协作与整合。 它的出现是由于软件行业日益清晰地认识到：为了按时交付软件产品和服务，开发和运营工作必须紧密合作。开发测试云在基础架构云(IaaS

5、)的层面，将促进开发测试所需资源的敏捷性，通过部署流程和审批管理，保障资源的生命周期可控与高效进行；但开发测试云不只是基础架构云，开发测试云同时也初步具备平台云(PaaS)的特征。在开发测试资源平台，用户可以直接部署所需的中间件、数据库、应用，而无需关注底层所依赖的环境资源，如CPU, 内存，存储、操作系统、环境设置。用户只需要关注其所使用的中间件、数据库和应用是否可以高效的满足业务和开发测试的需求，而无需关注其支撑环境的细节，云平台通过自动化流程将保障开发测试所需平台的快速部署、弹性扩展和资源回收，减少开发测试人员配置环境所花费的大量时间，同时保障开发测试的环境与生产环境的高度一致性，避免因

6、环境不一致引起的生产上线故障。1.2 发展规划根据对项目的了解，我们制定了开发测试云未来三到五年的规划分以下三期进行：第一期：建立开发测试资源池与云管理平台，构建完整的IaaS与初级PaaS平台。本期实现开发测试对资源使用的标准化与自助化，通过云计算门户，开发测试人员自助申请所需的资源。云计算门户把开发测试常用的环境汇总成几大服务目录，项目组只需在服务目录中选择最适合自己的服务项，进行简单的几步配置，即可生成运行环境，其中包括虚拟机、存储、网络，所需安装的操作系统，所需安装的中间件、数据库等支撑软件，通过流程编排自动进行环境的部署。开发测试所提交的资源申请经过部门审批、云计算运维审批，最后由自

7、动化引擎进行自动部署。同时，如果开发测试组需要对环境做出变更，也需要进行相应的资源审批。通过一期的建设，将规范化开发测试流程，梳理出标准化服务目录与资源流程编排模板，促进开发测试部署环境的进度。第二期：开发测试云优化，高级PaaS的演进。在一期的建设中对x86的部署大部分都使用vmware，只有少量kvm和hyper-v。在二期将融合行内除x86虚拟化以外的资源，包括IBM Power小型机，HP-UX小型机，存储设备和网络设备，实现高度融合的云平台。同时，二期将实现资源的弹性和软自助负载均衡，包括web层，中间件层与数据库层的资源弹性。通过监控可是实时获取各层对资源的使用情况，在高峰时间将触

8、发自动化流程增加新的节点，扩展服务能力。同时在闲时也将自动收缩，回收资源，以满足其他开发测试项目对资源的需求。本期将从流程上打通软件开发与测试，结合发布管理，加速从开发版本到功能测试到集成测试到Staging测试测环境部署效率，同时优化资源的部署使用效率。第三期：DevOps开发测试与运维。DevOps是融合了开发、测试、运维的敏捷开发模式，通过环境的快速迁移与共享，使开发测试人员更熟悉生产运维环境，运维人员更熟悉开发测试模式。从开发测试到功能测试到集成测试到阶段测试到生产环境，每个阶段的问题都可以及时反馈回上一个阶段，从而使运维人员更及时发现问题，反馈问题，开发人员更迅速作出版本变更，测试人

9、员更迅速获得环境进行版本测试并上线。DevOps促进了需求与实现的敏捷性，从长远意义将促进业务的灵活性。DevOps模式图示如下：第2章 需求分析2.1 我们对需求的理解通过对银行业务和环境的理解，以及在本次开发测试云的规划，需求，POC，立项等阶段的深入沟通交流，我行在本次项目中，通过引入成熟的云计算技术，建立一套开发测试资源管理云平台，纳管行内开发测试环境已有的X86服务器，实现混合虚拟化软件（vmware, hyper-v, kvm）的统一管理。开发测试云平台在架构上要具备融合性和先进性，在今后需有能力无缝融合行内的其他设备，包括IBM Power小型机、HP-UX小型机、存储设备和网络

10、等设施；从x86虚拟化的角度分析，行内开发测试环境具有230台左右x86服务器，大部分已部署vmware ESXi虚拟化软件，并通过vCenter进行管理。在vmware上运行大约1800个虚机，开发测试云要能够纳管已有的vmware环境，并将已有虚机纳入开发测试云平台管理，但不能影响虚机上的业务运行；同时，由于行内已小范围采用Hyper-V虚拟化软件，并通过CSV构成集群共享卷，实现Hyper-v虚机的高可用和在线迁移。Hyper-v环境由System Center VMM进行管理和操作，因而开发测试云平台要具备通过SCVMM管理Hyper-V的能力；随着虚拟化使用范围的扩大和不断深入，行内

11、已经在对kvm进行评估。开发测试云平台同时要能够管理kvm虚拟化，减少今后虚拟化软件的资产投入。从小型机的角度分析，行内生产和开发测试大量使用Power小型机和HP-UX小型机做为关键业务应用的运行系统，因而开发测试云要能够纳管Power小型机和HP-UX小型机。IBM 对Power小型机虚拟化之路，也一直在发展和探索，从传统的System Director，HMC方式管理lPar，到与OpenStack集成整合的PowerVC，以及目前Power 8平台下的Power KVM，IBM一直在为Power探寻顺应云计算时代的虚拟化之路。HP云平台做为融合基础设施的倡导者，我们提供各种方式对Pow

12、er进行管理，并在IBM工具的基础上进行创新，实现了具有HMC和无HMC直通IVM的不同管理方式，并在POC中进行了验证。云平台需具备对Power进行管理的能力，但考虑到本次项目的周期和规模，将把Power纳管工作放到今后项目中实施，开发测试云要能跟上技术发展，用当时最佳的方式对小机资源进行纳管。从存储的角度分析，行内大量使用NetApp的存储设备和HP的存储设备，因而开发测试云要能够通过标准化的方式管理和使用存储资源。行内已经部署了vmware虚拟化软件和hyper-v虚拟化软件，不同的虚拟化使用存储的方式不同。对于vmware虚拟化，存储设备卷将以共享的方式挂载到ESXi，透过vCente

13、r构建成datastore，虚机的镜像、实例文件和扩展磁盘都通过datastore方式进行管理和使用；对于hyper-v虚拟化，存储设备卷共享给Windows 2008 R2Server或Windows 2012 Server,通过System Center在集群之间构建CSV集群共享存储卷，虚拟文件存储于CSV卷内，从而实现虚拟的高可用和在线迁移。开发测试云管理平台要能够根据不同的虚拟化软件，选择对应的存储管理使用方式，实现存储的标准化使用和高效利用。从网络的角度分析，在当前阶段，开发测试云需兼容已有的网络架构。包括使用已有的vlan, 防火墙、安全策略和QoS策略，做好开发测试项目组之间的

14、网络隔离和安全策略。未来三到五年，随着SDN概念的普及和应用，势必在行内得到关注和使用。因而开发测试云需要能够管理SDN，与SDN互动，灵活敏捷的通过软件控制网络策略，监控网络流量，并作出灵活的调整。从应用架构上分析，开发测试云需使用开放的架构，与业界成熟的云计算架构保持一致。目前广受关注的四大开源云计算阵营，OpenStack和CloudStack，OpenNebula和Eucalyptus，都不乏厂商的拥护和支持。但OpenStack已经在竞争中胜出，受到更多的厂商和用户的青睐，发展迅速。因而，开发测试云要以OpenStack开放架构为核心，整合厂商已有的最佳实践，并且可通过定制化与行内实

15、际情况深度集成，打造基于开源的企业级开发测试云解决方案。在开放云平台内核架构之上，要根据我行的特定需求制定统一开放的调用接口层:SPDB Cloud WebServices，满足今后各不同应用系统对云资源的调度使用需求。同时通过SPDB Cloud WebSErvices，实现架构上的松耦合，上层自服务门户和功能实现上与底层资源调度实现解耦，建立灵活敏捷的可持续发展架构。从云计算层次上看，基础架构云(IaaS)从一定层面上可以解决行内开发测试资源部署管理和效率问题，但开发测试云不等于IaaS。行内有大量应用都是基于Weblogic中间件和Oracle数据库，是标准化的三层应用。对于这样的应用系

16、统的开发测试，如果只是从IaaS获取了开发测试机器，还需要手工做很多重复性工作才能把机器用于应用的测试。因而，开发测试云需要从一定程度上实现PaaS平台云的特点。用户可以从云平台选择所需的平台功能，例如一台中间件或一台数据库。开发测试云平台根据客户的选项无需干预的交付所需的平台，用户不用关心该中间件或数据库部署在什么硬件设备、什么操作系统，需要什么配置和环境变量，用户只关心其获得了所需的中间件或数据库，可以立刻执行应用的测试任务。同时，PaaS平台云具有弹性云计算的特点，可以根据工作负责动态伸缩，或资源回收，满足客户需求并提高资源效率。从开发测试云长远规划分析，开发测试云在当前阶段需实现基于x

17、86设备的完善的IaaS功能，并配合审批流程提高资源效率；同时需实现初级PaaS，实现标准平台的供给能力；在二期需实现融合小机的纳管和高级PaaS，与行内开发框架紧密集成，实现API接口和程序代码层级的PaaS；在三到五年通过开发测试云逐渐引领开发测试团队走向敏捷开发和DevOps，在互联网金融日益深入的时代背景下顺应潮流，促进业务的灵活性，持续创新。2.2 我们对开发测试业务流程的理解目前，在银行开发测试环境中已部署vmware软件，由管理员通过vCenter根据开发测试的需求创建虚拟化资源，供开发测试使用。行里在x86上应用的开发测试都在vmware虚拟机上进行。业务需求以项目的方式下达到

18、开发测试部门，开发测试部门分项目组进行研发、并进行功能测试、集成测试、阶段测试，最后上线部署。开发测试所需资源由项目组统一提出申请，下达到运维运维部门。运维部门接到申请并经过审核，在现有开发测试资源中创建虚拟机，交付给开发测试部门使用。同时，开发测试部门具有IBM Power小机和HP-UX小机，由项目组预定使用，都是由系统管理员手工进行系统安装和下放给开发测试人员使用。目前对资源的审批、开通都是由手工方式进行，效率较低，且资源回收困难。下放到开发测试使用的虚拟机难以管控，很多用于申请项目之外的目的。开发人员由于资源回收后重新申请周期较长，且需要独立重新安装所需的中间件、数据库或其它配置项，需

19、要较高的技能和较长时间调试，因而不愿意回收某项目用完的虚机，而是在另外的项目继续使用。这种方式造成的结果是资源管控混乱，不能有效地利用资源，缺乏资源预警，缺乏量化的扩容指标。第3章 建设目标3.1 本期目标基于以上我们对我行需求的理解和开发测试流程的理解，我们在本次项目中实现以下目标：SPDB Cloud Web Services统一接口开发测试云做为应用开发测试的核心设施平台，需要不止满足从云平台申请和创建设施资源的当前需求，同时还应该满足其他系统的对接需求，使第三方系统可以通过API连接到云平台创建资源。因而制定我行云计算的REST Web Service是本次项目建设的重要组成部分。功能

20、门户平台都需要通过SPDB Cloud Web Services统一接口实现资源管理和资源调度，同时，第三方应用也能够通过统一接口消费云平台所提供的资源能力。在当前阶段我们会全部使用本地化私有云做为开发测试资源，但在未来三到五年，随着公有云的逐渐深入，统一调用接口可以和公有云平台进行互操作，构成混合云，进一步促进资源使用的灵活性，构建节能减排IT新形态。建立以自服务为中心的资源在线审批流程构建一个开发测试资源自服务门户，为每个开发测试项目组以及人员建立账户，由开发测试项目组自助申请所需资源。每个项目组设置一名项目经理权限，项目组对资源的申请先由项目经理审批，然后由开发科集中审批，确保所申请的资

21、源是项目合理所需。最后资源申请进入到运维部门，由运维部门审批后形成工单，自动进行资源部署，并自动发邮件通知。建立资源的自动化部署通过开发测试云平台可以申请虚机(CPU, 内存，磁盘)和操作系统。在申请服务目录页面选择所需资源的规格，开发测试平台会自动按照需求进行安装，交付后获得的虚机直接即可使用。建立平台的自动化部署通过开发测试云平台可以申请中间件和数据库等开发支持平台。在申请服务目录页面选择所需平台的类型和规格，开发测试平台会自动按照需求进行安装，交付后获得的平台（数据库、中间件）,直接即可使用工单管理审批完成的资源申请最后形成工单。工单分两类：自动化执行工单和人工下派工单。自动化执行工单会

22、提交给自动化引擎，调度虚拟化软件和流程编排软件进行部署；人工下派工单需派给工程技术人员，由人工执行，例如对裸机的部署。工单管理将规范化资源管理，在后台进行记录，形成统计图表。资源使用规范和生命周期管理通过这次开发测试云平台的建设，要规范化开发测试流程，建立起资源的使用规范和生命周期管理机制。开发测试人员遵从规范，针对某一项目申请的资源使用完成后需及时释放，不允许用于其它项目。由于开发测试云平台部署资源非常快速，而且可以到达应用一级，所以开发测试人员无需担心重新构建开发测试环境的复杂度。监控与容量管理通过对云平台完善的监控，可以形成统计报表，预测既有资源可以支持未来多少项目的使用。容量管理使信息

23、中心可以做到未雨绸缪，及时扩容，保障开发测试项目的顺利进行。3.2 未来发展目标我们建议以开发测试云项目为契机，逐步规范化我行的开发、测试、生产、运维一体化管理。我们建议开发测试云分以下三步走：第一步，开发测试云开发测试云做为资源的自助平台，规范化开发测试流程，促进敏捷开发与业务快速上线，解决运维资源利用率不高与开发测试资源紧张的矛盾。第二步, 开发测试与非关键业务的半融合云开发测试云纳管了已有的测试资源，今后可以扩展资源池，建立非关键业务部署的云平台。例如，可以从OLTP集中交易数据库分出分析型事务，运行于OLAP数据库。而OLAP数据库可以建立在融合云平台的生产区域。生产区域云将具有云平台

24、的弹性资源特点，具备自动伸缩能力，例如建立在云平台的OLAP数据库，在白天主要负载来自于数据复制和报表查询，负载量较轻，会自动收缩到单个数据库实例；随着报表的压力增加，数据库会自动扩展成两个节点；夜间跑批业务量加大，会自动扩展到4个和8个节点；随之循环，按照负载情况自动改变集群中节点的数量。第三步，生产融合云该期将总结开发测试云的建设经验，制定逐步进行生产环境云平台建设的计划和步骤。由于在开发测试云建设中已经实现了版本发布管理和测试环境的自动化发布流程，因而该自动化流程过渡到生产云是必然的趋势，可以很好的避免上线部署的人工失误，减少生产系统的维护窗口时间。从开发测试云到生产云可遵从从周边到核心

25、，从标准化到特殊化的原则，选择有代表性的应用逐步完成应用系统到生产云的迁移工作。第4章 预期收益通过开发测试云的建设，预期将获得以下收益：4.1 规范化开发测试的资源管理流程此项目将对资源使用的人工流程转化成自动流程，减少对资源的随机性和无序性。为某一项目审批的资源将禁止用于其它用途，严格执行资源回收机制，优化资源的新陈代谢和生命周期循环。4.2 提高资源的部署效率和资源利用率目前开发测试资源的利用率并不高，运维部门手里有资源，但由于不具备资源释放回收机制，不得不预留资源为今后的项目申请。开发测试云将改变这一现状，运维部门可以分配更多的资源给开发测试部门，同时由于部署效率的提高，使开发人员可以

26、及时释放用完的资源，进入良性循环。4.3 敏捷开发与DevOps随着我行的信息化建设不断演进，以移动互联网和大数据为导向的业务需求越来越多，互联网金融也对传统金融行业发展提出了更高要求。时代的发展对我行开发测试的顺利有效进行提出了越来越高的挑战。开发测试云的建设将促进敏捷开发，及时响应业务需求，加快开发、测试、上线的周期。同时，我们建议我行逐渐向DevOps模式发展，进一步融合开发测试与上线运维，促进开发、测试、运维的一体化管理。第5章 远景规划根据对项目的了解，我们制定了开发测试云未来三到五年的规划分以下三期进行：5.1 第一期：立足于IaaS，实现初级PaaS第一期将建立开发测试资源池与云

27、管理平台，构建完整的IaaS与初级PaaS平台。本期实现开发测试对资源使用的标准化与自助化，通过云计算门户，开发测试人员自助申请所需的资源。云计算门户把开发测试常用的环境汇总成几大服务目录，项目组只需在服务目录中选择最适合自己的服务项，进行简单的几步配置，即可生成运行环境，其中包括虚拟机、存储、网络，所需安装的操作系统，所需安装的中间件、数据库等支撑软件，以及从版本库获取所需部署的版本，通过流程编排自动进行环境的部署。开发测试所提交的资源申请经过部门审批、云计算运维审批，最后由自动化引擎进行自动部署。同时，如果开发测试组需要对环境做出变更，也需要进行相应的资源审批。通过一期的建设，将规范化开发

28、测试流程，梳理出标准化服务目录与资源流程编排模板，促进开发测试部署环境的进度。5.2 第二期；优化IaaS流程，向高级PaaS演进在一期的建设中对x86虚拟化使用开发测试云对vmware，kvm和Hyper-v进行纳管。出于规模和建设周期的考虑，在二期将建设将使用开发测试云管理Power小机资源池；同时，二期将实现资源的弹性，包括web层，中间件层与数据库层的资源弹性。通过监控可是实时获取各层对资源的使用情况，在高峰时间将触发自动化流程增加新的节点，扩展服务能力。同时在闲时也将自动收缩，回收资源，以满足其他开发测试项目对资源的需求。本期将从流程上打通软件开发与测试，结合发布管理，加速从开发版本

29、到功能测试到集成测试到Staging测试测环境部署效率，同时优化资源的部署使用效率。5.3 敏捷开发与DevOps一体化，促进业务敏捷第三期将实现DevOps一体化开发测试与运维。DevOps是融合了开发、测试、运维的敏捷开发模式，通过环境的快速迁移与共享，使开发测试人员更熟悉生产运维环境，运维人员更熟悉开发测试模式。从开发测试到功能测试到集成测试到阶段测试到生产环境，每个阶段的问题都可以及时反馈回上一个阶段，从而使运维人员更及时发现问题，反馈问题，开发人员更迅速作出版本变更，测试人员更迅速获得环境进行版本测试并上线。DevOps促进了需求与实现的敏捷性，从长远意义将促进业务的灵活性。DevOps模式图示如下：