大型企业数据中心建设方案Word格式.docx
《大型企业数据中心建设方案Word格式.docx》由会员分享，可在线阅读，更多相关《大型企业数据中心建设方案Word格式.docx（105页珍藏版）》请在冰豆网上搜索。
与业务的SOA相适应，XXX公司提出支撑业务运行的底层基础设施也应当向“面向服务”的设计思想转变，构造“面向服务的数据中心”（ServiceOrientedDataCenter，SODC）。
传统组网观念是根据功能需求的变化实现对应的硬件功能盒子堆砌而构建企业网络的，这非常类似于传统软件开发的组件堆砌，被已经证明为是一种较低效率的资源调用方式，而如果能够将整个网络的构建看成是由封装完好、相互耦合松散、但能够被标准化和统一调度的“服务”组成，那么业务层面的变更、物理资源的复用都将是轻而易举的事情。
SODC就是要求当SOA架构下业务的变更，导致软件部分的服务模块的组合变化时，松耦合的网络服务也能根据应用的变化自动实现重组以适配业务变更所带来的资源要求的变化，而尽可能少的减少复杂硬件的相关性，从运行维护、资源复用效率和策略一致性上彻底解决传统设计带来的顽疾。
具体而言SODC应形成这样的资源调用方式：
底层资源对于上层应用就象由服务构成的“资源池”，需要什么服务就自动的会由网络调用相关物理资源来实现，管理员和业务用户不需要或几乎可以看不见物理设备的相互架构关系以及具体存在方式。
SODC的框架原型应如下所示：
在图中，隔在物理架构和用户之间的“交互服务层”实现了向上提供服务、向下屏蔽复杂的物理结构的作用，使得网络使用者看到的网络不是由复杂的基础物理功能实体构成的，而是一个个智能服务——安全服务、移动服务、计算服务、存储服务……等等，至于这些服务是由哪些实际存在的物理资源所提供，管理员和上层业务都无需关心，交互服务层解决了一切资源的调度和高效复用问题。
SODC和SOA构成的数据中心IT架构必将是整个数据中心未来发展的趋势，虽然实现真正理想的SODC和SOA融合的架构将是一个长期的历程，但在向该融合框架迈进的每一步实际上都将会形成对网络灵活性、网络维护、资源利用效率、投资效益等等方面的巨大改善。
因此XXX公司本次数据中心的网络建设，要求尽可能的遵循如上所述的新一代面向服务的数据中心设计框架。
XXX公司数据中心设计目标
在基于SODC的设计框架下，XXX公司新一代数据中心应实现如下设计目标：
●简化管理：
使上层业务的变更作用于物理设施的复杂度降低，能够最低限度的减少了物理资源的直接调度，使维护管理的难度和成本大大降低。
●高效复用：
使得物理资源可以按需调度，物理资源得以最大限度的重用，减少建设成本，提高使用效率。
即能够实现总硬件资源占用量降低了，而每个业务得到的服务反而更有充分的资源保证了。
●策略一致：
降低具体设备个体的策略复杂性，最大程度的在设备层面以上建立统一、抽象的服务，每一个被充分抽象的服务都按找上层调用的目标进行统一的规范和策略化，这样整个IT将可以达到理想的服务规则和策略的一致性。
1.2XXX公司数据中心技术需求
SODC架构是一种资源调度的全新方式，资源被调用方式是面向服务而非象以前一样面向复杂的物理底层设施进行设计的，而其中交互服务层是基于服务调用的关键环节。
交互服务层的形成是由网络智能化进一步发展而实现的，它是底层的物理网络通过其内在的智能服务功能，使得其上的业务层面看不到底层复杂的结构，不用关心资源的物理调度，从而最大化的实现资源的共享和复用。
要形成SODC要求的交互服务层，必须对网络提出以下要求：
1.2.1整合能力
SODC要求将数据中心所需的各种资源实现基于网络的整合，这是后续上层业务能看到底层网络提供各类SODC服务的基础。
整合的概念不是简单的功能增多，虽然整合化的一个体现是很多独立设备的功能被以特殊硬件的方式整合到网络设备中，但其真正的核心思想是将资源尽可能集中化以便于跨平台的调用，而物理存在方式则可自由的根据需要而定。
数据中心网络所必须提供的资源包括：
●智能业务网络所必须的智能功能，比如服务质量保证、安全访问控制、设备智能管理等等；
●数据中心的三大资源网络：
高性能计算网络；
存储交换网络；
数据应用网络。
这两类资源的整合将是检验新一代数据中心网络SODC能力的重要标准。
1.2.2虚拟化能力
虚拟化其实就是把已整合的资源以一种与物理位置、物理存在、物理状态等无关的方式进行调用，是从物理资源到服务形态的质变过程。
虚拟化是实现物理资源复用、降低管理维护复杂度、提高设备利用率的关键，同时也是为未来自动实现资源协调和配置打下基础。
新一代数据中心网络要求能够提供多种方式的虚拟化能力，不仅仅是传统的网络虚拟化（比如VLAN、VPN等），还必须做到：
●交换虚拟化
●智能服务虚拟化
●服务器虚拟化
1.2.3自动化能力
自动化是SODC架构中上层自动优化的实现服务调用必须条件。
在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。
这部分需要做到两方面的自动化：
●网络管理的自动化
●业务部署的自动化
1.2.4绿色数据中心要求
当前的能源日趋紧张，能源的价格也飞扬直上；
绿地（GreenField）是我们每个人都关心的议题。
如何最大限度的利用能源、降低功耗，以最有效率方式实现高性能、高稳定性的服务是新一代的数据中心必须考虑的问题。
第2章XXX公司数据中心技术实现
根据以上新一代数据中心网络的技术要求，必须对传统数据中心所使用的常规以太网技术进行革新，数据中心级以太网（DataCenterEthernet，简称DCE）技术由此诞生。
DCE之前也被一些厂商称为汇聚型增强以太网技术（ConvergedEnhancedEthernet，简称CEE），是兼容传统以太网协议并按新一代数据中心的传输要求，对其进行全面革新的一系列标准和技术的总称。
因此，为达到XXX公司的新一代数据中心的建设目标，必须摒弃传统以太网技术，而采用新一代的DCE（CEE）技术进行组网。
具体而言，本次XXX公司数据中心所采用的DCE技术，可以达到以下的技术目标。
2.1整合能力
2.1.1一体化交换技术
DCE技术的重要目标是实现传统数据中心最大程度的资源整合，从而实现面向服务的数据中心SODC的最终目标。
在传统数据中心中存在三种网络：
使用光纤存储交换机的存储交换网络（FiberChannelSAN），便于实现CPU、内存资源并行化处理的高性能计算网络（多采用高带宽低延迟的InfiniBand技术），以及传统的数据局域网。
DCE技术将这三种网络实现在统一的传输平台上，即DCE将使用一种交换技术同时实现远程存储、远程并行计算处理和传统数据网络功能。
这样才能最大化的实现三种资源的整合，从而便于实现跨平台的资源调度和虚拟化服务，提高投资的有效性，同时还降低了管理成本。
XXX公司业务的特点不需要超级计算功能，因此本次项目要实现存储网络和传统数据网络的双网合一，使用DCE技术实现二者的一体化交换。
当前在以太网上融合传统局域网和存储网络唯一成熟技术标准是FiberChannelOverEthernet技术（FCoE），它已在标准上给出了如何把存储网（SAN）的数据帧封装在以太网帧内进行转发的相关技术协议。
由于该项技术的简单性、高效率、经济性，目前已经形成相对成熟的包括存储厂商、网络设备厂商、主机厂商、网卡厂商的生态链。
具体的协议发布可参见FCoE的相关WebSites。
（http:
//www.t11.org/fcoe）
本次数据中心建设将做好FCoE的基础设施准备，并将在下一阶段完成基于FCoE技术的双网融合。
2.1.2无丢弃以太网技术
为保证一体化交换的实现，DCE改变了传统以太网无连接、无保障的BestEffort传输行为，即保证主机在通过以太网进行磁盘读写等操作、高性能计算所要求的远程内存访问、并行处理等操作，不会发生任何不可预料的传输失败，达到真正的“无丢包”以太网目标。
DCE在网络中以硬件及软件的形式实现了以下技术：
基于优先级类别的流控（PriorityFlowControl）
通过基于IEEE802.1p类别通道的PAUSE功能来提供基于数据流类别的流量控制
带宽管理
IEEE802.1Qaz标准定义基于IEEE802.1p流量类别的带宽管理以及这些流量的优先级别定义
拥塞管理
IEEE802.1Qau标准定义如何管理网络中的拥塞（BCN/QCN）
●基于优先级类别的流控在DCE的理念中是非常重要的一环，通过它和拥塞管理的相互合作，我们可以构造出“不丢包的以太网”架构；
这对今天的我们来说，它的诱惑无疑是不可阻挡的。
不丢包的以太网络提供一个安全的平台，它让我们把一些以前无法安心放置到数据网络上的重要应用能安心的应用到这个DCE的数据平台。
●带宽管理在以太网络中提供类似于类似帧中继（FrameRelay）的带宽控制能力，它可以确保一些重要的业务应用能获得必须的网络带宽；
同时保证网络链路带宽利用的最大化。
●拥塞管理可以提供在以太网络中的各种拥塞发现和定位能力，这在非连接的网络中无疑是一个巨大的挑战；
可以说在目前的所有非连接的网络中，这是一个崭新的应用；
目前的研究方向主要集中在后向拥塞管理（BCN）和量化拥塞管理（QCN）这两个方面。
2.1.3性能支撑能力
为保证实现一体化交换和资源整合，DCE还必须对传统以太网的性能和可扩展性的进行革新。
首先为保证三网合一后的带宽资源，万兆以太网技术只是DCE核心层带宽的起点。
而正在发展中的40G/100G以太网才是DCE技术将来的主流带宽。
因此，要保证我们今天采购的设备能有5年以上的生命周期，就必须考虑硬件的可扩展能力。
这也就是说从投资保护和工程维护的角度出发，我们需要一个100G平台的硬体设备，即每个设备的槽位至少要支持100G的流量（全双工每槽位200Gbps），只有这样才能维持该设备5年的生命周期。
同时从经济性的角度来考虑，如果能达到400G的平台是最理想的。
另外存储网络和高性能计算所要求的通过网络实现的远程磁盘读写、内存同步的性能需求，DCE设备必须提供比传统以太网设备低几个数量级的端口间转发延迟。
DCE要求的核心层的三层转发延迟应可达到30us以下，接入层的二层转发延迟应可在3～4us以下。
这都是传统以太网技术无法实现的性能指标要求。
2.1.4智能服务的整合能力
众所周知，应用的复杂度是在不断的提升，同时伴随着网络的融合，应用对网络的交互…可以预见的是网络的复杂度也将不断的提升。
这也印证我们的判断：
应用对网络的控制将逐步增强，网络同时也在为应用而优化。
因此构建一个单业务的简单L2转发网络并不是网络设备的设计方向；
全业务的设备和多业务融合的网络才是我们所需要的环境。
那么我们需要什么样的全业务呢，很明显DataCenterEthernet是一个必备的项目，同时我们至少还需要其它的基本业务属性来保障一个多业务网络的运行，如：
●服务质量保证QoS
●访问列表控制ACL
●虚拟交换机的实现VirtualSwitch
●网络流量分析Netflow
●CPU抗攻击保护CoPP
●远程无人值守管理CMP
●嵌入式事件管理EEM
当然，所有这些业务的实现都是在不影响转发性能的前提条件下的。
失去这个大前提，多业务的实现就变得毫无意义。
所以设计一个好的产品就必须顾全多业务、融合网络这个大前提。
如何使这些复杂的业务处理能够在高达100G甚至是400G的线路卡上获得线速处理的性能是考验一个硬件平台的重要技术指标。
最终的胜出者无疑就是能够用最小的代价来换取最大业务实现和性能的设备平台。
2.2虚拟化能力
DCE对网络虚拟化不仅仅是传统意义上的VLAN和VPN，为实现SODC的交互服务层资源调度方式，DCE还能够做到以下的虚拟化能力。
2.2.1虚拟交换技术
虚拟交换技术可以实现当我们使用交换机资源时，我们可以不用关心交换服务的物理存在方式，它可能是由一台交换机提供，也可能是两台交换机设备，甚至可以是一个交换机中的几个虚拟交换机之一。
思科的DCE技术就提供了将两个物理交换机虚拟为一台交换机的虚拟交换系统（VSS）技术，以及将一个交换机虚拟化为多个交换机的虚拟设备（VDC）技术。
（一）虚拟交换系统（VSS）
VSS技术可将网络的双核心虚拟化为单台设备，比如使用的Cisco6509的9插槽设备将完全被虚拟化成为单台18槽机箱的虚拟交换机。
虚拟交换机性能倍增、管理复杂度反而减半。
具体有如下优势：
●单一管理界面：
管理界面完全为单台设备管理方式，管理和维护工作量减轻一半；
●性能翻倍：
虚拟交换系统具备两台叠加的性能，与其它交换机通过跨物理机箱的双千兆以太网或双万兆以太网捆绑技术，远比依靠路由或生成树的负载均衡更均匀，带宽和核心吞吐量均做到真正的翻倍。
●协议简单：
虚拟交换系统与其它设备间的动态路由协议完全是单台设备与其它设备的协议关系，需维护的路由邻居关系数以二次方根下降，在本系统中可达4～5倍下降，工作量和部署难度大大降低；
虚拟交换系统同时作为单台设备参与生成树计算关系，生成树计算和维护量以二次方根下降，在本系统中可达4～5倍下降，工作量和部署难度大大降低。
●冗余可靠：
虚拟交换系统形成虚拟单机箱、物理双引擎的跨机箱冗余引擎系统，下连接入交换机原来需要用动态路由或生成树实现冗余切换的，在VSS下全都可以用简单的链路捆绑实现负载均衡和冗余，无论是链路还是引擎，冗余切换比传统方式更加迅捷平滑，保持上层业务稳定运行。
以前两个单引擎机箱的其中一台更换引擎，一定会导致数据的丢失，而虚拟交换系统里任意一台更换引擎，数据可以保证0丢失。
（二）虚拟设备系统（VDC）
VDC技术则可以实现将一台交换机划分为多个虚拟的子交换机，每个交换机拥有独立的配置界面，独立的生成树、路由、SNMP、VRRP等协议进程，甚至独立的资源分配（内存、TCAM、转发表等等）。
它与VSS配合，将在实现更加灵活的、与物理设备无关的跨平台资源分配能力，为数据中心这种底层设施资源消耗型网络提供更经济高效的组网方式，也为管理和运营智能化自动化创造条件。
物理设备虚拟成若干个逻辑上的独立设备的图示：
网络服务虚拟化
在服务资源整合以及设备虚拟化的基础之上，DCE要求每个虚拟化的网络应用区都有自己的业务服务设施，比如自己的防火墙、IDS、负载均衡器、SSL加速、……网络服务，这些如果都是物理上独占式分配的，将是高成本、低效率且难于维护管理的。
DCE网络在提供这些网络智能服务时都可以以虚拟化的方式实现各类服务的资源调用，思科的DCE网络中就可以实现虚拟防火墙、虚拟IDS、虚拟负载均衡器、虚拟SSLVPN网络……等等，从而实现网络智能服务的虚拟化。
2.2.2服务器虚拟化
服务器虚拟化可以使上层业务应用仅仅根据自己所需的计算资源占用要求来对CPU、内存、I/O和应用资源等实现自由调度，而无须考虑该应用所在的物理关联和位置。
当前商用化最为成功的服务器虚拟化解决方案是VMWare的VMotion系列，微软的VirtualServer和许多其它第三方厂商（如Intel、AMD等）也正在加入，使得服务器虚拟化的解决方案将越来越完善和普及。
然而人们越来越意识到服务器虚拟化的系统解决方案中除了应用、主机、操作系统的角色外，网络将是一个更为至关重要的角色。
网络将把各个自由联系成为一个整体，网络将是实现自由虚拟化的桥梁。
服务器虚拟化需要DCE能够提供以下能力：
●资源的整合：
业务应用运行所依赖的物理计算环境都需要网络实现连接，然而在传统网络中，传输数据的数据网、互连CPU和内存的计算网、互连存储的存储网都是孤立的，这就无法真正实现与物理无关的服务器资源调度，因此实现真正意义上彻底的服务器虚拟化，前面提到的DCE三网一体化交换架构是必须的条件。
●网络的虚拟机意识：
传统网络是不具备虚拟机意识的，即在网络上传递的信息是无法区别它是来自于哪个虚拟机，也无法在网络上根据虚拟机来提供相应的网络服务，当虚拟机迁移，也没有相应的网络跟踪手段保证服务的全局一致性。
不过这些都是DCE正在解决的问题，一些DCE的领导厂商，比如思科，已经在推出的商用化DCE产品中提供了相应的虚拟机标识机制，并且思科已经联合VMware等厂商将这些协议提交IEEE实现标准化。
●虚拟机迁移的网络环境：
服务器虚拟化是依靠虚拟机的迁移技术实现与物理资源无关的资源共享和复用的。
虚拟机迁移需要一个二层环境，这导致迁移范围被局限在传统的VLAN内。
我们知道Web2.0、云计算等概念都需要无处不在的数据中心，那么如何实现二层网络的跨地域延展呢？
传统的L2MPLS技术太复杂，于是IEEE和IETF正在制定二层多路径（即二层延展）的新标准，DCE的领导厂商思科公司也提出了一种新的协议标准CiscoOvertheTopVirtualization（OTV）来解决跨城域或广域网的二层延展性问题，从而为服务器虚拟化提供可扩展的网络支撑。
2.3自动化
现在商用的DCE自动化解决方案包括管理自动化和业务部署自动化。
XXX公司数据中心将在后续的建设中逐步完善自动化管理和自动化业务部署，但需要在本期通过DCE技术的实施打下未来自动化部署的坚实基础。
2.4绿色数据中心
DCE技术的整合化、虚拟化和自动化本身就是在达到同样业务能力的要求下实现高效率利用硬件资源、减少总硬件投入、节约维护管理成本等方面的最佳途径，这本身也是绿色数据中心的必要条件。
另外DCE产品必须在硬件实现上实现低功耗、高效率，包括
●利用最新半导体工艺（越小纳米的芯片要比大纳米的芯片省电）
●降低逻辑电路的复杂度（在接入层使用二层设备往往要比三层设备省电）
●减少通用集成电路的空转（使用定制化的专业设计的芯片往往比通用芯片省电）
●等等……
由此可见，对于一台网络设备，在业务能力相当的前提条件下，越小的功耗就代表越先进的技术。
在DCE设备一般可以做到维持三层的全业务万兆吞吐功耗小于25W、二层的万兆吞吐功耗小于13W。
综上所述，在本次XXX公司新一代数据中心网络的建设中，将采用不同于传统以太网技术的DCE以太网技术，构建面向服务的高效能数据中心网络平台。
第3章XXX公司数据中心网络设计
3.1总体网络结构
本次XXX公司数据中心网络的建设将采用新一代的DCE技术，并使用DCE技术的代表厂商Cisco公司的Nexus系列产品。
网络结构将采用大型数据中心典型的层次化、模块化组网结构。
3.1.1层次化结构的优势
采用层次化结构有如下好处：
●节约成本：
园区网络意味着巨大的业务投资正确设计的园区网络可以提高业务效率和降低运营成本。
●便于扩展：
一个模块化的或者层次化的网络由很多更加便于复制、改造和扩展的模块所构成，在添加或者移除一个模块时，并不需要重新设计整个网络。
每个模块可以在不影响其他模块或者网络核心的情况下投入使用或者停止使用。
●加强故障隔离能力：
通过将网络分为多个可管理的小型组件，企业可以大幅度简化故障定位和排障处理时效。
3.1.2标准的网络分层结构
层次化结构包括三个功能部分，即接入层、分布层和核心层，各层次定位分别如下：
●核心层：
是企业数据交换网络的骨干，本层的设计目的是实现快速的数据交换，并且提供高可靠性和快速的路由收敛。
●分布层：
也称为汇聚层。
主要汇聚来自接入层的流量和执行策略，当第三层协议被用于这一层时可以获得路由负载均衡，快速收敛和可扩展性等好处。
分布层还是网络智能服务的实施点，包括安全控制、应用优化等智能功能都在此实施。
●接入层：
负责提供服务器、用户终端、存储设施等等的网络第一级接入功能，另外网络智能服务的初始分类，比如安全标识、QoS分类将也是这一层的基本功能。
3.1.3XXX公司的网络结构
根据业界企业网络最佳设计实践参考，在边缘节点端口较少的小型网络中，可以考虑将核心层与分布层合并，小型网络的网络规模主要由接入层交换机决定。
但对于XXX公司而言，结合XXX公司的业务现状及发展趋势，我们可以看到未来几年内业务处于一个高速成长期，必须在本期网络架构中充分考虑未来的可扩展性。
所以XXX公司企业内部核心网络层次结构
升级会员 