智慧电子政务外网数据中心建设方案.docx

1、智慧电子政务外网数据中心建设方案智慧电子政务外网数据中心建设方案1. 项目背景和需求分析1.1 项目背景电子政务外网是为满足各级政务部门进行社会管理、公共服务等面向社会服务的需要，基于互联网架构的政务业务专网，是国家、省电子政务网络的重要组成部分，该项目的建设，对实现各级政务部门互联互通、资源共享，提高政府行政服务能力，具有重要意义。在外网建设之前，尚未建立统一的政务外网，各部门业务系统标准不统一、数据交换接口未预留、相互独立、数据封闭，“信息孤岛”现象严重，部门间信息难以交换、共享，既影响了面向政府内部的部门间业务协同，又影响了面向公众提供“一站式”服务的整体水平的提高。在资金来源方面，90

2、以上单位的电子政务系统建设资金全部依靠财政投入，而各单位在财政资金使用上存在投放分散现象，机房、网络等基础设施低水平重复建设，通用、共用系统缺乏统一规划、统一标准，影响了部门间资源共享交换和业务协同。另外，技术运维人员的缺乏也影响了电子政务应用水平的提高。随着改革开放和政府职能转变，社会各界对政府门户网站的服务提出了新要求。一是需要更高水平的政务信息公开、网上办事和与公众互动交流等功能；二是需要面向公众提供“一站式”、“一网式”服务窗口，进一步方便市民同政府部门以及社会服务部门的联系与交流；三是需要政府部门之间、政府部门与社会服务部门之间实现信息整合、交换、共享和业务协同，提高行政服务效能和管

3、理水平，加快政府职能转变，促进服务型政府建设。为实现上述目标，必须建立能够满足跨部门、跨行业信息共享与业务协同工作需要的全市统一的网络和应用支撑平台、政务信息资源整合平台和安全保障体系。政务外网网络基础设施比较完备，基础网络架构的布局较为合理，完全具备政务外网应用软件系统开发、部署及运行的基本条件。另一方面，基础网络上运行的应用系统资源不能整合及共享；没有发挥出基础网络平台所提供的架构优势。解决这些不足，充分利用网络设备资源，提供多元化服务是政务外网应用系统建设的主要任务。1.2 总体目标按照集中统一建设的原则，电子政务外网的建设内容主要是：铺设一张网络、建设两个平台、打造三大中心、打牢四个基

4、础、抓好五大示范。其中，20082009年的主要建设内容是：铺设一张网，完成三大中心建设，开展市民和企业数据库的信息交换和共享应用，完成标准电子政务硬件系统和多媒体协同办公通信系统等共享应用示范。图1.2.1 电子政务外网系统结构图1.3 三大中心建设内容三大中心指的是政府网络管理中心、政府数据中心和灾难备份中心。数据和网管两个中心是政府信息化的集中枢纽，通过设备集中、数据及信息集中、应用服务集中、专业人员集中、运行维护与管理集中等一体化地解决政府各部门电子政务的建设、运行和维护等问题，为各部门提供集成化的高质量服务。作为政务信息枢纽，方便各政务部门通过统一的骨干网络直接联入政务外网，进行数据

5、和信息交换；数据中心通过高速出口接入国家骨干通信网络；社会公众通过统一的门户网站获取政府各部门服务。灾难备份中心是政府信息化的重要组成部分，通过在异地建立和维护一个备份存储系统，利用地理上的分离来保证系统和数据对灾难性事件的抵御能力。通过配置远程容灾备份将本地数据实时进行远程复制。2. 三大中心整体解决方案2.1 应用特点 日常访问量较大，特殊时间段瞬间猛增政府门户网站对外发布信息，并对全社会提供web信息的访问和查询，这本身就需要系统承担较大的工作压力，据统计，目前，电子政务外网一般日访问量都在百万次以上，而在很多时候，例如月底报税时， 还有瞬时访问量剧增的特点，此时系统承担的压力骤增。 安

6、全性要求高政府电子政务系统的安全等级从低到高依次分为自主保护级、指导保护级、监督保护级、强制保护级和专控保护级五个安全等级。每种保护级别都在可用性，完整性，保密性做出了详细的定义。例如，授权人员对电子政务系统和信息访问的中断会对政务机构运行、机构财产、人员造成极其严重的负面影响，对国家安全造成严重的损害。签于此要求，所以电子政务外网的建设中，有很高的高可靠、高可用性的要求。 扩展性要求好数据中心的建设是持续的，不断发展的。在系统建设之初，不可能一步到位，这就要求整个系统有很强的可扩展性。 数据的及时性和准确性数据是IDC的根本，电子政务信息的发布必须及时准确，快速响应。 绿色节能政府法规和气候

7、变化管理，使得大型数据中心必须在经济、环境和社会等方面保持可持续发展，因此，绿色IT趋势在大型数据中心中更值得关注。 简化管理难度不同地域不同职能的各级部门间协同合作。上千台服务器统一调度，共享资源，这样对于整个数据中心的管理提出了严峻的挑战。2.2 设计原则 标准化产品均采用国际工业化标准生产，满足各个方面的标准规范。 可扩展系统应具有较强的升级扩容能力，提出的系统扩容与备份解决方案应能满足本局业务发展的需要，未来可随业务扩展而平滑扩充，且不影响业务系统运行；系统中配置的设备应便于维护和扩充；提供的设备和软件具有升级和扩展能力。 可用性系统应采用稳定的、成熟的先进技术，对各种可能出现的情况做

8、出相应的保护设计和热备份设计，以确保业务系统无故障运作。所有关键设备要求均采用冗余方式。 可管理提供的产品应具有简单、方便的维护和管理手段，尽量减少维护和管理环节。实现从硬件到应用级的全方位、多层次的管理，并与原有应用平台的管理系统有机结合。 兼容性所采用的产品与技术应与原有应用环境兼容，实现系统平滑升级、新旧系统有机融合。在保证满足目前需要的前提下，要充分考虑到未来的应用，必须做好超前的规划，使应用平台具有良好的可扩充性和兼容性。2.3 整体架构2008年，政府在XX街新建”政府数据中心”，与位于YY路的”政府网站管理中心”形成在地理上分散的两大数据中心，同时，以两大中心互为灾备中心的模式构

9、成电子政务外网三大中心的结构拓扑。整体架构如图2.2.1所示。图2.2.1 三大中心整体结构示意图在物理上分布的网管中心和数据中心中的设备拓扑基本相同，均包含一套Oracle RAC提供数据库服务、一套分布式集群文件系统提供数据存储和共享服务、一套备份系统提供本地备份，此外，每个中心内部都有大量的刀片服务器充当Web服务器以及各种功能服务器。两个中心通过10Gb IP专线连接，红色虚线显示数据在两个数据中心实现异地备份的具体流向。其中，每个中心内部都有一台DG备份服务器，实现另外一端RAC的备份；分布式集群文件系统通过其内部提供的复制同步软件实现同步。2.4 优势与亮点 电子政务处与国内一线厂

10、商鼎力合作，从大型电子政务需求和整体解决方案两个方向形成合力 大量采用国产自主知识产权技术和设备，为国内电子政务系统建设树立了新榜样 大量采用业界领先产品、技术和思想，建设创新型政府数据中心 立足十多年经验和积累，曙光为政府电子政务外网提供最全面的、最完整的基础设备和软硬件解决方案 已经建设的架构符合一个电子政务云计算环境的几乎所有特点，为下一步建立电子政务云计算平台打下良好的基础3. 关键技术与创新点政府数据中心的建设过程中，采用了曙光数款产品和多项创新技术，在此，我们选择部分关键技术做一简单描述。3.1 海量数据存储政府数据中心为各级政府部门提供电子政务支撑，拥有庞大的业务系统和海量的数据

11、，在以往的模式中，各个业务系统的数据独立管理，存在数据难以共享、存储空间浪费、备份过程复杂、难以管理等问题，因此，政府数据中心需要一种能够实现集中管理、高度共享、安全可靠的数据存储解决方案。2008年，通过采用BWFS高性能分布式集群文件系统，政府数据中心实现了这一目标。最终以统一的存储池、统一的存储空间管理模式为各级政府的业务数据提供存储支持。作为一个大型分布式文件系统，BWFS向集群环境下的应用服务器提供并发访问、共享数据的分布式文件系统服务，该系统包括应用服务器、系统服务器、网络存储设备和管理控制台。其整体架构如图3.1.1所示。BWFS具有类似NFS的访问控制能力，可以按目录、目标主机

12、IP等要素输出存储空间，保证数据的安全性；此外，通过在存储层采用集群模式，保证了高并发的I/O通道。图3.1.1 BWFS高性能、分布式集群文件系统BWFS的技术要点包括： “带外”数据传输用户的应用程序运行在应用服务器集群上，它们通过应用程序接口（API）或者文件系统相关的系统调用，访问BWFS提供的文件服务。BWFS利用Linux/Unix的虚拟文件系统（Virtual File System）或者Windows的可安装文件系统（Installable File System）提供基于内核的文件系统访问服务。应用程序无需任何修改就可以像使用其它本地文件系统一样使用BWFS，实现二进制兼容。

13、应用服务器所需要的所有元数据都由系统服务器提供，所有数据都由网络存储设备提供，实现元数据与数据的分离。BWFS的所有数据无需经过系统服务器转发，直接在应用服务器与网络存储设备之间交换，实现“带外”数据传输功能。这种特性使得BWFS可以充分利用网络存储设备提供的数据并发传输能力，有效地在网络存储设备与系统服务器之间进行负载分流，有利于取得更好的数据传输性能和扩展性能。 全动态元数据映射BWFS利用多台系统服务器组成的集群提供并发元数据服务。整个分布式文件系统的活跃元数据全动态地分布在各台系统服务器之间，由一台系统服务器负责其它系统服务器之间的操作协调与负载均衡。根据文件访问的局部性、应用的相关性

14、、访问的频度、系统服务器的负载、用户配置的策略等决定各个活跃元数据的分布情况，在各个系统服务器之间实现互不重叠的全分布，同时利用智能启发式算法平衡各自的负载，获得最佳性能。并行文件系统还能根据用户的应用需求，动态添加系统服务器，以适应不断增加的应用负载。 虚拟存储和动态扩容BWFS采用虚拟存储技术将多个网络存储设备的存储资源统一编址，形成巨大的共享存储池，可以充分有效地利用各个网络存储设备的存储空间。BWFS采用64位地址表示存储空间，可以满足目前任何类型的应用需求。系统服务器指导应用服务器将应用程序的数据条带化（striping）存储到各个网络存储设备，充分利用各个网络存储设备的数据传输带宽

15、，提高整个系统的数据吞吐能力。BWFS能够在各个网络存储设备之间平衡数据存储负载，避免系统出现瓶颈。同时，BWFS能够根据用户的需求，在线动态添加网络存储设备，以提升整个系统的数据存储容量和数据传输能力，满足更高的应用需求。 高效率的空间管理BWFS采用精心设计的数据结构、高效率的算法提升海量存储空间的管理性能。动态数据块、索引节点分配、多层次带索引的动态位图、批量空间申请、异步存储空间释放等技术，使得BWFS拥有优良的资源管理和调度性能，同时具备管理海量存储空间和提供高性能文件系统服务的基础。 缓存和预读技术BWFS在应用服务器、系统服务器、网络存储设备上进行了大量的数据和元数据缓存，并且可

16、以根据系统的设置进行不同程度的预读，使得其性能与传统分布式文件系统相比有显著提高。在各个功能服务器上的不同层次的缓存和预读，有助于加强各个应用服务器之间的缓存协作。 3.2 虚拟化与节能在传统的电子政务系统中，当需要部署业务系统的时候，很多时候都是按照一个业务一个服务器的模式，随着X86服务器性能的提升，出现大量每台只安装一个应用程序从而未得到充分利用的基于 x86 的服务器，同时，“根据最坏情况下的工作负载来确定所有服务器的配置”这一策略导致服务器的配置普遍过高，出现了大量利用率不足的服务器系统，据业界统计，大型数据中心里X86服务器的平均利用率一般都不超过30%，此外，服务器数量的不断提高

17、，给数据中心的运营和维护也带来了很大的难度。另外一个方面，随着电子政务系统业务和数据量的急速增长，导致数据中心的数量、规模和密度也随之急剧扩大，数据中心的空间、电力、散热都面临极大的挑战。据统计，数据中心所耗电力已经占到美国全部电力使用量的2%，预计到2020年，这一数字将激增到9%，数据中心在变热。随着温度的上升，IT硬件的可靠性大幅降低。因此，绿色节能成为近年来数据中心的主题。虚拟化技术作为当前IT领域的宠儿，为建设新型数据中心带来新的思路。通过虚拟化技术，可以将多个业务流程整合在一台高端服务器上，从而提高物理主机的利用率。如果在数据中心里采用虚拟化技术，可以降低能耗、实现节能减排，并减少

18、空间占用。此外，虚拟化技术在保证业务的连续性、快速部署、灵活IT、容灾备份等方面都具有先天性的优势。在政府数据中心的建设中，我们采用了开源的Xen虚拟化技术，将标准的X86服务器虚拟成多个虚拟机（VM，Virtual Machine），通过在VM上部署Linux、Windows操作系统及应用支撑部分业务系统。同时，借助Xen提供Live migrate、HA、动态资源平衡、虚拟CPU和内存的动态分配等技术保证了业务的持续性、可用性和高性能。藉由Xen虚拟化技术提供的服务器整合能力，有效的减少了新业务对服务器的需求，减少了数据中心的电力损耗、和空间占用，提供了服务器的利用率，还简化了管理。目前，

19、我们正在设计以Xen虚拟化技术为核心，结合曙光DCLB、DVCS等产品，实现一个电子政务的云计算平台。图3.2.1 基于开源Xen虚拟化技术的应用层系统对于大型数据中心来说，目前，部署了虚拟化技术的服务器还比较少，这主要是因为，大部分业务系统切换到虚拟化平台上需要时间。因此，单靠虚拟化技术来解决大型数据中心的绿色节能问题还不够，在政府数据中心的建设中，我们在部分物理服务器上部署曙光Powerconf功耗管理系统，有效的降低了服务器的电力损耗。Powerconf功耗管理软件是曙光专门为大型数据中心/超级计算中心推出的服务器能耗管理系统，该软件可以根据服务器负载的高低，自动、智能的改变硬件工作状态

20、，比如降低处理器的频率或关闭部分计算核心，从而实现节能的目的。图3.2.2 Powerconf功耗管理软件界面3.3 服务能力随需而变政府数据中心为政府各级部门提供业务运行的基础平台，整个系统的规模非常庞大，存在业务流程部署繁琐、维护成本高、设备利用不均衡等问题。以设备利用状况来说，各级政府部门对资源的需求是不同的，甚至在不同的时期，同一单位的同一个业务对资源的要求也是不同的，如果按照最大需求的原则配置基础设施，不可避免将造成资源的浪费。因此，在政府数据中心的建设过程中，亟需一直能够实现资源灵活变更、按需分配的方法，让服务能力随需而变。最后，政府数据中心采用曙光TC2600作为应用基础平台，结

21、合Bladmin虚拟化智能部署系统完成业务流程的变更，实现快速的、智能的实现业务流程的切换，保证了业务对资源的需求，提高了硬件的利用率，解决了电子政务应用对资源的需求与成本控制之间的矛盾。TC2600是曙光自主研发的第三代刀片服务器，每个刀片可以是双路，也可以是四路，可以按照需求，提供不同的计算能力；TC2600支持混插，支持热插拔，具有机架式服务器所不具备的易管理性。此外，TC2600具有如下特点： 节省空间，高计算密度，高计算能力 模块化设计，整合多种子系统 降低功耗，提升电源效率 降低线缆和集成的复杂度,实现机柜优化 简化使用和管理，加快部署速度 降低管理、运营成本和TCOBladmin

22、是一种基于网络存储的新型计算环境管理系统，采用全球标准的通讯协议TCP/IP协议，将网络中所有的存储资源集中存储在由高速互联网络连接的存储管理服务器上，在该服务器上虚拟出多个网络硬盘映射供客户机使用。它采用虚拟存储技术，实现数据集中存储、网络硬盘按需分配，借助快照和快速部署技术，实现简单快速地网络硬盘分配与软件安装；通过客户机和不同的网络磁盘实现动态映射，使客户机能够按需转换角色，更好地被动态调度并组合计算资源和存储资源，满足不断变化的需求。Bladmin具有独特的支持跨VLAN、客户机自动注册、IP地址自动分配、监控等功能，有效地解决目前在高密度领域里，刀片服务器应用环境中的问题。Bladm

23、in可以根据对服务器的需求改变而重新为其快速部署操作系统和应用系统，从而调整其服务角色，提高设备利用率。还可以在服务器硬、软件出现故障时，保证系统的运转延续性。图3.3.1 Bladmin刀片服务器管理系统通过采用刀片式服务器和Bladmin管理系统： 有效的分离了系统资源（含应用资源）与计算资源，提高了计算资源的利用率。 实现了操作系统和应用系统高效、灵活、快速的部署，并且支持资源动态绑定。 对大规模机群实现了集中式的部署，非常易于管理管理。 提升了机群系统的可靠性，有效降低了系统运行维护成本。3.4 负载均衡与动态迁移在政府数据中心业务应用的实际使用环境中，经常会遇到如下几种情况， 有些业

24、务系统随着时间的推移呈现快速增长的情况，一旦业务增长过快超过了预期，那么运行这个系统的服务器硬件便会成为瓶颈，使得用户访问延时增大或者干脆处于死机状态； 有些业务系统的硬件配置可以维持日常访问，但到某些特殊的时段，例如月底报税那几天，就出现税务系统的访问量猛增的情况，平时的资源配置无法满足此时的访问需求，但如果仅为了这几天的需求，就长期大量消耗资源又不划算； 有些业务系统在系统建设之初设计的很宏大，但经过时间的考验，发现其实负载压力并不大，但却占用着大量的硬件资源，平白消耗着宝贵的能源，而一旦撤销配置还可能在某一无法预期的时间再次出现需求。 有些业务系统要求很高的可用性，这样的业务系统通常采用

25、N+N冗余的方式，传统的HA模式，根本无法满足这些业务系统对容错以及高可用的需求。基于以上原因，政府数据中心应用了曙光DCLB负载均衡器，结合曙光Bladmin快速部署系统，根据web集群真实的负载情况，动态的调整集群中web/应用服务器的数量，将业务负载均衡地分配到每一台服务器上，继而改变web集群的整体服务响应能力，在不改变用户使用感受的情况下，从硬件层上提供多变的服务响应策略。该系统完全根据业务系统实际需求，随用随变，按需分配，动态迁移，确保了整个集群具有较高的性能和灵活的配置，还由于每一种应用都被部署成了N+N台服务器构成的web集群，这就实现了透明的容错。当访问量降低，系统还可以自动

26、释放服务器资源，被释放的服务器，又可以根据需要被重新部署成其他的业务系统，这样就大大减少了整个系统的服务器数量，降低了数据中心的总体拥有成本。3.5 大型数据中心管理在一个大型数据中心里，存在着各种硬件设备和部署的软件，如何对其进行有效的管理，比如，资源监控、报警、资产管理等等，是非常重要的。曙光大型数据中心管理软件GridView继承了曙光DCMM2、DCAS等监控管理产品的主要功能和技术特色，并增加多项优秀功能开发而成的大型数据中心基础设施管理软件产品。GridView提供统一的集中式监控平台，具备可扩展性、集成性、可靠性和易用性，提供对各种商用、自己研发的管理工具的集成接口，从而满足同时

27、对各不同厂家集群的环境、硬件、软件等各方面进行监控的需求。GridView支持对多种资源（如服务器、交换机、存储设备、机房环境、应用等）的统一监控管理，软件层次包括设备资源层、通信层、数据层、事务处理层、表现层多个层，软件架构如下图所示：图3.4.1 GridView结构图就监控功能而言，曙光GridView提供全方位的状态监控功能，状态监控功能提供了机群总体运行状态视图、机群总体IO状态视图、机群实际物理拓扑视图以及多项性能视图，用户可直观地监控当前机群系统运行情况。此外，状态监控功能还提供了具体某台服务器节点的运行状态监控，用户在监控机群整体运行状态的同时，也可具体监控各节点的运行状态。通

28、过采用GridView，政府两大数据中心解决基于分布式环境下的大型数据中心统一监控、统一管理、统一存储、统一报警、统一配置等诸多问题，克服分布式环境下数据资源的局部特性，整合信息孤岛，实现了基于层次结构的统一的多角度视图。3.6 备份和容灾数据是数据中心的核心，是数据中心的生命，因而，如何保护好数据中心里的数据，保证各种核心系统稳定可靠地运行，并为业务系统提供快捷可靠的访问，是数据中心建设中最重要的问题之一。而要保证系统稳定可靠地运行，除了要利用高可用的在线数据解决方案（比如集群技术），另外一个关键的要素是要保护好存储在数据中心里的数据。虽然，IT的发展给电子政务的发展提供了很多便利，然而，人

29、为的操作错误，系统软件或应用软件的缺陷、硬件的损毁、电脑病毒、骇客攻击、自然灾难等等诸多因素都有可能造成数据的丢失，从而给政府造成无可估量的损失。为了保护系统的关键业务数据，我们必须对这些数据进行有效的备份，并支持快速恢复。在政府数据中心的建设中，我们采用了多项容灾备份技术，所有的核心数据都实现了本地和异地两级备份。图3.5.1显示了政府数据中心容灾备份系统拓扑结构。图3.5.1 政府数据中心数据灾备拓扑结构首先，政府数据中心通过业界著名的企业级备份软件Bakbone实现了核心数据库数据、核心业务系统数据的本地备份，以D2D2T多层存储结构的方式，实现了数据的本地备份；其次，在Oracle数据

30、库层，通过采用Oracle自带的Data Guard技术，在两个机房之间实现数据库的同步；在应用系统层，通过BWFS提供的远程数据同步技术，保证业务数据的异地存放。本地备份系统的实施，可以有效的保证数据的物理和逻辑安全性，当本地数据不可恢复的时候，可以从异地的备份系统上立即启用数据库和业务系统数据服，保证数据的安全性。 4. 运行现状和用户评价曙光是国产服务器市场中很有实力的一支队伍，其产品不论是品质还是性能都达到了我们对于服务器系统的要求，因此我们才选择了曙光。目前，曙光服务器已经被大量应用到我们的各种关键业务中，例如“中国大连”门户网站和政府访谈等，担任起了非常重要的角色。曙光提供给我们的

31、方案和技术都是目前最新、最前沿的，也非常适合我们这种大型的数据中心来使用，仅PowerConf一项技术，就给我们带来每年20万元的电费节余，而GridView简洁直观的管理方法，又大大减少了我们的后期维护和管理成本。作为一个中国的老IT人，我很骄傲的看到了曙光的成长，看到了我们民族的进步，看到了国有自主知识产权的产品化，祝愿曙光，祝愿所有中国的IT企业都能够不断开创、不断进取，走出一条坚强的民族解放的创新之路。政府网站管理中心主任 耿昭5. 成功意义电子政务外网，建设成了一个统一的，横向可管理、纵向可控制、高速稳定，高度自动化，低成本、低风险运行的政府信息流通平台，显著提高了政府的管理能力和行政服务能力，增强了政府的核心竞争力，打破了政府各部门所形成信息孤岛格局，加强了政府各部门的有效沟通和联系，为广大市民提供了多元化的服务，树立了一个便捷、清晰、节约的政府形象。电子政务处在政府信息化的步伐中，一直走在国内同行的前列，多次获得电子政务大奖。本年度，电子政务外网建设管理实践研讨会在大连召开，为全国电子政府系统树立了榜样，为打造中国特色的电子政务建设探索出了一条全新的道路。随着政府主导的大型数据中心不断的涌现，电子政务外网的成功顺应了社会的发展趋势，提升了大型数据中心的效率之道。本次引入的曙光新技术，对于性能需求极大、而能耗成本敏感型的互联网数据中心而言，具有非常普遍的借鉴意义。