某数据中心网络及安全方案建议书.docx

1、某数据中心网络及安全方案建议书XX数据中心网络及安全方案建议书修订记录：一、 建设背景一.1. 数据中心背景介绍数据中心（英文拼写Data Center，简写DC）是数据大集中而形成的集成IT应用环境，它是各种IT应用服务的提供中心，是数据计算、网络、存储的中心。数据中心实现了安全策略的统一部署，IT基础设施、业务应用和数据的统一运维管理。数据中心是当前各行业的IT建设重点。运营商、电力、能源、金融证券、大型企业、政府、交通、教育、制造业、网站和电子商务公司等正在进行或已完成数据中心建设，通过数据中心的建设，实现对IT信息系统的整合和集中管理，提升内部的运营和管理效率以及对外的服务水平，同时降

2、低IT建设的TCO。数据中心的发展可分为四个层面： 数据中心基础网络整合：根据业务需求，基于开放标准的IP协议，完成对企业现有异构业务系统、网络资源和IT资源的整合，解决如何建设数据中心的问题。 数据中心应用智能：基于TCP/IP的开放架构，保证各种新业务和应用在数据中心的基础体系架构上平滑部署和升级，满足用户的多变需求，保证数据中心的持续服务和业务连续性。各种应用的安全、优化与集成可以无缝的部署在数据中心之上。 数据中心虚拟化：传统的应用孤岛式的数据中心模型扩展性差，核心资源的分配与业务应用发展出现不匹配，使得资源利用不均匀，导致运行成本提高、现有投资无法达到最优化的利用、新业务部署难度增大

3、、现有业务持续性得不到保证、安全面临威胁。虚拟化通过构建共享的资源池，实现对网络资源、计算计算和存储资源的几种管理、规划和控制，简化管理维护、提高设备资源利用率、优化业务流程部署、降低维护成本。 数据中心资源智能：通过智能化管理平台实现对资源的智能化管理，资源智能分配调度，构建高度智能、自动化数据中心。一.2. XX集团数据中心建设XX集团的商业用户分布在全国各大城市，目前业务系统的部署主要集中在和大连，近年来随着XX集团业务的规模及多样化发展，企业对信息化的依赖程度越来越高，数据集中、业务7*24小时高可靠支撑对数据中心的要求越来越高。经综合考虑，拟在新建数据中心，未来数据中心将成为XX集团

4、的主中心，承载所有生产业务系统。数据中心是集团广域网汇聚中心，机房内原则上将不放置服务器。大连数据中心是灾备中心，主要功能是数据异地备份。此方案主要涉及数据中心的网络及安全的设计与部署，并实现与、大连的互连！二、 需求分析二、 二.1. 应用系统分析XX集团目前的应用系统主要包括生产应用、办公应用和基础支撑三大类，这三大类的服务器的数量占比如下图所示：在三大类应用系统中，每一类又可以细分为多个子类，不同的子类应用在流量特征、规模和用户访问类型上存在较大的差别，这些将会影响到网络及安全的方案设计，下面将进行进一步的分析：1. 生产应用类 ERP 百货 KTV 院线 酒店 商管 地产 网站流量特征

5、分析：不同类的应用，其业务负载繁忙特征也有显著区别，其中百货、KTV、网站应用周末繁忙；院线应用周二、周六和周日繁忙。繁忙时段网络流量明显上升，而且受外界因素（如新片上映、节假日促销等）影响，存在不确定的突发流量。规模分析：从服务器的数量上统计，上述各类应用的服务器数量占比如下图所示：总体来看，院线类服务器的数量最多，其次为网站、百货和KTV。用户访问分析：上述应用的访问用户相对多样化，包括集团内部员工（如ERP）、集团外部用户（如百货、KTV）和互联网公众用户（网站、院线）。2. 办公应用类 OA 视频会议 图档 文件 其它流量特征分析：办公应用类服务器业务负载繁忙特征比较单一，繁忙时段集中

6、在工作日的8小时内，流量相对较稳定。视频会议对网络的质量要求最高，服务质量（QoS）要充分考虑。规模分析：从服务器的数量上统计，办公各类应用的服务器数量占比如下图所示：总体来看，OA服务器的数量最多，其次为视频会议。用户访问分析：办公应用的访问用户单一，均为集团内部用户。3. 基础支撑类 域和身份认证 DNS 防病毒 网管 桌面管理流量特征分析：基础支撑类服务器业务负载繁忙特征比较单一，繁忙时段集中在工作日的8小时内。部分服务器（如防病毒）的流量特征取决于网络管理员的策略。规模分析：基础支撑类物理服务器数量不会很多，未来可能会部署很多的虚拟服务器，因此此类服务器对网络的扩展要求要对相低，在此不

7、再做进一步的规模分析。用户访问分析：办公应用的访问用户单一，均为集团内部用户。分析总结：1. 生产应用类服务器的数量最多，而且此类服务器未来随XX业务的发展，规模会越来越多，因此生产应用类服务器的接入要充分考虑可扩展性；2. 生产应用类服务器的用户访问类型最复杂，因此要充分考虑安全访问策略的设计；3. 生产应用类服务器的流量特征最复杂，流量最大，而且突发性最强，因此要充分考虑网络的缓冲能力；4. 办公应用类业务中，视频会议对网络的传输质量最为敏感，方案设计要给予充分的QoS和带宽保证。5. 三大类应用系统中，所有业务均为7*24小时运行，因此在网络的设计中要保证高可靠，设备和链路均采用冗余设计

8、，对于生产类关键业务，要保证设备和链路故障恢复时间在毫秒（ms）级，避免设备和链路故障导致业务服务中断。二.2. 流量模型分析XX集团数据中心建设完成后，集团的数据访问流量模型如下图所示：1. 未来三中心的定位： 中心：XX集团广域网络汇聚中心，各地XX集团均与中心互连。但中心原则上不部署业务系统服务器，仅做网络汇聚； 中心：数据中心将做为XX集团的主数据中心，所有业务系统均部署在此数据中心内，承载XX集团所有生产系统； 大连中心：做为数据中心内业务系统的数据备份中心，对关键生产系统的数据进行灾备，原则上不部署业务系统服务器。当主中心内的数据遭到损坏后，可直接使用大连中心的备份数据。2. 对于

9、集团内部用户（含集团各城市分支机构）通过集团广域网络，在中心进行网络汇聚后，再到数据中心访问业务系统。如上图中红色虚线数据流所示；3. 合作单位用户通过专线直接与数据中心连接，实现对业务系统的直接访问，无需经过中心。如上图中绿色虚线数据流所示；4. 公众用户直接通过Internet访问数据中心的WEB系统，无需经过中心。如上图中紫色虚线数据流所示。5. 大连备份中心与主中心直接相连，数据备份流量无需通过中心，提高数据备份的可靠性与效率，缩短时延。考虑到未来的双活扩展与数据的实时同步，建议大连备份中心与主中心之后采用裸纤或DWDM互连，避免出现带宽瓶颈。6. 大连中心与中心现有的互连线路保持不变

10、，做为数据备份的链路备份。同时未来可将部分集团内业务部署到大连中心，实现负载分担。二.3. 带宽分析数据中心内部的服务器接入及局域网络均采用典型的“千兆接入、万兆到汇聚”方式，部分服务器（如FCoE服务器等）直接采用万兆接入，链路带宽不会成为瓶颈，保证网络的收敛比即可，在此不做带宽分析。带宽分析主要考虑数据中心的网络出口，对于数据中心而言，网络出口有以下四个：1. 集团广域网出口：与中心互连，满足集团内所有员工对业务系统的访问。考虑到可靠性，采用双链路（不同运营商）；2. Internet出口：满足公众业务系统通过互联网对外提供服务。考虑到可靠性，采用双链路（不同运营商）；3. 合作单位专线出

11、口：与合作单位专线互连，此出口的链路和带宽取决与合作单位，在此不做分析；4. 数据备份出口：与大连数据中心互连，实现关键业务的数据备份与同步。考虑到未来的双活扩展与数据的实时同步，建议采用裸纤或DWDM互连。若采用裸纤或DWDM，带宽不会成为瓶颈，因此也无需分析。但要保证高可靠，建议采用不同缆的多个光纤实现冗余。根据XX集团现有业务系统的用户数量分析，对数据中心网络出口带宽估算如下：业务系统集团广域网出口Internet出口ERP按1000用户设计，每个用户20Kbps带宽，合计20MbpsN/A集团/百货/院线网站群N/A假设：1. 单个页面300KB2. 用户等待容忍时间为10秒3. 峰值

12、并发增长率，通常取30%按2000个并发用户计算，带宽需求：2000*300KB*130%/10=78MB/s=780MbpsOA/图档/邮件/文件共享按1000用户设计，每个用户50Kbps带宽，合计50MbpsN/A视频会议平均每路2Mbps，按50个城市（50路），占用100Mbps带宽N/A基础支撑类忽略N/A合计170Mbps780Mbps按照上述数据的初步估算，对数据中心网络出口链路选择建议如下：1. 广域网出口带宽为170Mbps，至少采用两条155M POS链路，满足带宽需求的同时实现链路冗余；2. 互联网出口带宽为780Mbps，建议采用两条千兆链路出口（两个运营商）。(注：

13、上述数据为经验数据，仅供参考！)三、 方案规划与设计三、 三.1. 数据中心网络建设目标XX数据中心未来将XX集团承载所有生产环境系统。数据中心网络作为业务网络的一个重要组成部分，为核心业务系统服务器和存储设备提供安全可靠的接入平台。网络建设应达成以下目标：高可用网络作为数据中心的基础设施，网络的高可用直接影响到业务系统的可用性。网络层的高可用至少包括高可靠、高安全和先进性三个方面： 高可靠：应采用高可靠的产品和技术，充分考虑系统的应变能力、容错能力和纠错能力，确保整个网络基础设施运行稳定、可靠。当今，关键业务应用的可用性与性能要求比任何时候都更为重要。 高安全：网络基础设计的安全性，涉及到X

14、X业务的核心数据安全。应按照端到端访问安全、网络L2-L7层安全两个维度对安全体系进行设计规划，从局部安全、全局安全到智能安全，将安全理念渗透到整个数据中心网络中。 先进性：数据中心将长期支撑XX集团的业务发展，而网络又是数据中心的基础支撑平台，因此数据中心网络的建设需要考虑后续的机会成本，采用主流的、先进的技术和产品（如数据中心级设备、CEE、FCoE、虚拟化支持等），保证基础支撑平台510年内不会被淘汰，从而实现投资的保护。易扩展XX集团的业务目前已向多元化发展，未来的业务范围会更多更广，业务系统频繁调整与扩展再所难免，因此数据中心网络平台必须能够适应业务系统的频繁调整，同时在性能上应至少

15、能够满足未来510年的业务发展。对于网络设备的选择和协议的部署，应遵循业界标准，保证良好的互通性和互操作性，支持业务的快速部署。易管理数据中心是IT技术最为密集的地方，数据中心的设备繁多，各种协议和应用部署越来越复杂，对运维人员的要求也越来越高，单独依赖运维人员个人的技术能力和业务能力是无法保证业务运行的持续性的。因此数据中心需要提供完善的运维管理平台，对数据中心IT资源进行全局掌控，减少日常的运维的人为故障。同时一旦出现故障，能够借助工具直观、快速定位。三.2. 总体设计思路及原则数据中心为XX集团业务网络、日常办公与外联单位提供数据访问、OA和视频等服务，以及各业务的安全隔离控制。数据中心

16、并不是孤立存在的，而是与大连中心、网络汇聚中心外联单位网络等网络区域相辅相成，数据中心基础网络是业务数据的传输通道，将数据的计算和数据存储有机的结合在一起。为保证数据中心网络的高可用、易扩展、易管理，数据中心网络架构需按照结构化、模块化和扁平化的原则设计：1 2 结构化结构化的网络设计便于上层协议的部署和网络的管理，提高网络的收敛速度，实现高可靠。数据中心网络结构化设计体现在适当的冗余性和网络的对称性两个方面。如下图所示： 冗余的引入可以消除设备和链路的单点故障，但是过度的冗余同样会使网络过于复杂，不便于运行和维护，因此一般采用双节点双归属的架构设计网络结构的对称，可以使得网络设备的配置简化、

17、拓扑直观，有助于协议设计分析。在数据中心网络设计时，由于引入了冗余和对称的设计，这必将引入网络的环路，可通过如下建设思路消除环路影响：1 启用STP和VRRP协议 传统解决方案，标准的协议，设备要求较低。但此种部署方案网络的协议部署复杂，收敛慢，链路带宽利用率低，运维管理工作量大。本方案设计不采用此方法。2 IRF网络设备N:1虚拟化技术通过H3C IRF技术对同一层面的设备进行横向整合，将两台或多台设备虚拟为一台设务，统一转发、统一管理，并实现跨设备的链路捆绑。因此不会引入环路，无需部署STP和VRRP等协议，简化网络协议的部署，大大缩短设备和链路收敛时间（毫秒级），链路负载分担方式工作，利

18、用率大大提升。在本方案的设计中，将采用端到端的IRF部署，满足网络高可靠的同时，简化网络运维管理。 模块化构建数据中心基础网络时，应采用模块化的设计方法，将数据中心划分为不同的功能区域，用于实现不同的功能或部署不同的应用，使得整个数据中心的架构具备可伸缩性、灵活性、和高可用性。数据中心中的服务器将会根据服务器上的应用的用户访问特性和应用的功能不同部署在不同的区域中。如下图所示：数据中心网络分为网络接入区、数据中心核心交换区和服务器接入区三大功能区域，其中网络接入区和服务器接入区依据服务类型的不同，可进行子区的细分，详细参见“业务分区”章节的描述。数据中心核心区用于承接各区域之间的数据交换，是整

19、个数据中心的核心枢纽，因此核心交换机设备应选用可靠性高的数据中心级设备部署。在进行模块化设计时，尽量做到各模块之间松耦合，这样可以很好的保证数据中心的业务扩展性，扩展新的业务系统或模块时不需要对核心或其它模块进行改动。同时模块化设计也可以很好的分散风险，在某一模块（除核心区外）出现故障时不会影响到其它模块，将数据中心的故障影响降到最小。 扁平化数据中心的网络架构依据接入密度和分为三层架构和二层架构，如下图所示：传统的数据中心网络通常采用三层架构进行组网，三层架构可以保证网络具备很好的扩展性，同一个分区内服务器接入密度高。但三层架构网络设备较多，不便于网络管理，运维工作量大。同时组网成本相对较高

20、。随着网络交换技术的不断发展，交换机的端口接入密度也越来越高，二层组网的扩展性和密度已经能够很好的满足企业数据中心服务器接入的要求。同时在服务器虚拟化技术应用越来越广泛的趋势下，二层架构更容易实现VLAN的大二层互通，满足虚拟机的部署和迁移。相比三层架构，二层架构可以大大简化网络的运维与管理。综合上述因素，数据中心的网络设计采用二层扁平化架构，满足扩展性的同时，实现易管理。三.3. 业务分区按照3.2章节中的“模块化”设计原则，需要对业务系统进行分区。从技术看，业务分区需要遵循以下原则： 分区优先考虑访问控制的安全性，单个应用访问尽量在一个区域内部完成，单个区域故障仅影响一类应用，尽量减少区域

21、间的业务耦合度； 区域总数量的限制：但区域多则运维管理的复杂度和设备投资增加，区域总数量有运维上限不超过20个； 单个区域内服务器数量的限制：受机房空间、二层域大小、接入设备容量限制，单个区域内服务器数量有限（通常不超过200台）。 接入层设备利用率的限制：受机房布局的影响，如果每个机房都要部署多个安全区的接入交换机，会导致接入交换机资源浪费，端口利用率低，因此安全区的数量不宜过多。 防火墙性能的限制: 区域之间的流量如果超过10G，则需要考虑通过防火墙横向扩容，或区域调整的方式分担流量。在实际的数据中心分区设计中，通常有以下三种分区方法：1. 按照业务功能进行分区：根据业务系统的功能（如生产

22、、OA、支撑等）或业务的实时性（实时业务、非实时业务）或者业务系统的功能（如ERP、营销、财务等）进行分区划分，此分区方法适合大多数企业数据中心；2. 按照安全等保级别进行分区：按照业务系统的安全等级定义进行划分，如“三级系统独立成域，二级系统统一成域”，此分区方法适合政府、电力等行业数据中心；3. 按照服务器类型进行分区：一般分为WEB服务器区、APP/中间件服务器区、DB服务器区。此分区适合互联网企业等数据中心。按照需求调研时了解的XX集团业务系统分布情况，结合业务系统的用户类型，数据中心的分区设计按照业务功能进行分区。分区设计如下：各区域业务系统部署描述如下：办公局域网区：XX数据中心大

23、楼办公网络，包括终端、楼层接入与汇聚。广域网接入区：与网络汇聚中心广域网络互连，网络出口。外联网接入应用区：与合作单位的专线互连，此区域也包括合作单位的业务前置机服务器。互联网接入应用区：互联网出口，此区域也包括集团网站群WEB服务器、集团邮件系统、DNS服务器等。百货应用区：此区域部署与百货相关的应用服务器，包括百货促销、MIS、BI等应用系统。KTV应用区：此区域部署与KTV相关的应用服务器，包括FTP、管控、WEB、DB等应用系统。院线应用区：此区域部署与院线相关的应用服务器，包括火凤凰、会员等应用系统。OA应用区：此区域部署集团内部的OA应用服务器，包括OA、RTX、泛微、图档、视频会

24、议、文件、网络教学、网上招投标等应用系统。ERP/财务应用区：部署集团内部的ERP和财务应用服务器。其它应用区：部署商管、地产、酒店等应用服务器。开发测试区：此区域用于集团内部信息系统的开发与测试，或新系统上线前的测试部署。灾备接入应用区：此区域与大连中心互联，实现数据级的异地灾备。同时此区域可以部署一些本地的重要系统备份应用。支撑管理区：此区域部署数据中心网络、安全、服务器、存储等IT资源的运维管理系统，此外包括集团内部的域管理和身份认证服务器。数据中心核心区：此区域用于实现各分区之间的数据交互，是数据中心网络平台的核心枢纽，无服务器部署。三.4. 网络设计结合上述的业务分区，按照结构化、模

25、块化、扁平化的设计原则，实现高可用、易扩展、易管理的建设目标。网络整体拓扑如下图所示：整体网络拓扑采用扁平化两层组网架构，从数据中心核心区直接到服务器接入，省去了中间的汇聚层，这种扁平化的网络结构有以下优点： 简化网络拓扑，降低网络运维的难度； 服务器区容易构建大二层网络，更适合未来的虚拟机大量部署及迁移； 服务器接入交换机未来的扩展可直接在现有的IRF虚拟组添加成员交换机，扩展方便。对于数据中心的网络安全部署，在本方案中采用了“分布式安全部署”的策略，防火墙形态采用了H3C SecBlade安全插卡，实现网络安全的融合。详细的安全设计参加“3.5安全设计”章节。纵观整体方案拓扑，在此方案设计

26、与部署时共采用了IRF虚拟化、网络安全融合、智能管理三种H3C特有的关键技术(详细参见5.2章节相关介绍)，在保证数据中心的高可靠的同时，简化网络运维管理，同时提供了智能化的管理工具平台。三.4.1. 核心交换区 功能描述核心交换区的主要功能是完成各服务器功能分区、办公局域网、外联网、互联网之间数据流量的高速交换，是广域/局域纵向流量与服务功能分区间横向流量的交汇点。核心交换区必须具备高速转发的能力，同时还需要有很强的扩展能力，以便应对未来业务的快速增长。核心模块是整个平台的枢纽。因此，可靠性是衡量核心交换区设计的关键指标。否则，一旦核心模块出现异常而不能及时恢复的话，会造成整个平台业务的长时

27、间中断，影响巨大。 拓扑设计 设计要点1. 高可靠核心交换设备选用数据中心级核心交换机，配置双引擎，双电源，保证网络组件层面的稳定性。网络架构层面，采用双核心设计，两台设备进行冗余，并通过虚拟化技术进行横向整合，将两台物理设备虚拟化为一台逻辑设备，并实现跨设备的链路捆绑，所各分区的交换机IRF相配合，实现端到端IRF部署。两台设备工作在双活模式，缩短链路故障与设备故障的倒换时间(毫秒级)，保证出现单点故障时不中断业务。为保证出现单点故障(链路/设备)时另一台设备能够完全接管业务，各功能模块通过“口”字形上行与核心模块互连。2. 高速传输本次网络设计容量应保证未来35年内的业务扩展，本设计采用“

28、万兆到核心，千兆接入”的思路，核心模块对外接口为全万兆接口。3. 易于扩展按照“核心边缘架构”的设计原则，核心模块应避免部署访问控制策略（如ACL、路由过滤等），保证核心模块业务的单纯性与松耦合，便于下联功能模块扩展时，不影响核心业务，同时可以提高核心模块的稳定性。4. 智能分析针对各个区域的业务流量变化趋势，本次在核心交换机上部署网络流量分析模块，可以实时感知，并作为网络优化及调整的依据。三.4.2. 服务器接入区 功能描述服务器接入区用于完成服务器的LAN网络接入，依照3.3章节的业务分区设计，涉及到服务器接入的业务分区包括百货应用区、KTV应用区、院线应用区、ERP/财务应用区、开发测试

29、区、支撑管理区、其它应用区，这些区域虽然部署的应用服务器类型不一样，设备的选型要求也不一样，但对于网络拓扑设计来说是一样的，因此在方案设计时，这些区域的网络拓扑设计将在此统一进行描述。 拓扑设计注：院线应用区若部署院线WEB服务器，则服务器接入交换机上除了部署FW插卡外，还顼要部署IPS和SLB插卡。 设计要点1. 服务器接入交换机部署双机，并采用IRF虚拟化，将两台物理设备虚拟化为一台逻辑设备，实现跨设务链路捆绑，与核心交换机配合实现端到端IRF。此外服务器双网关配置成双活模式（Active-Active），；2. 各服务器接入交换机上部署SecBlade FW插卡，用于本区域与其它区域的访

30、问控制策略部署。院线应用区部署FW+IPS+LB插卡；3. 服务器网关部署在接入交换机上，防火墙插卡与接入交换机以及核心交换机之间运行OSPF动态路由，实现FW的双机热备。三.4.3. 互联网区 功能描述互联网区用于部署集团WEB服务器、院线WEB服务器（若需要），以及集团的DNS、FTP、E-mail等需要通过互联网对公众用户提供服务器的应用系统。 拓扑设计 设计要点1. Internet出口采用双运营商链路，保证用户访问效率的同时，实现链路的冗余；2. 服务器接入交换机部署双机，并采用IRF虚拟化，将两台物理设备虚拟化为一台逻辑设备，实现跨设务链路捆绑，与服务器双网卡配合实现双活(Acti

31、ve-Active)；3. 采用双层防火墙部署，外层防火墙用于实现Internet与WEB、DNS、Email、FTP等公网服务器的隔离，实现公网服务器的分域，并配置DMZ区域保证安全。内层防火墙用于实现公网服务器与数据中心内部其它服务器之间的隔离，部署内部区域间的访问控制策略。外层防火墙采用独立设备、内层防火墙采用在服务器接入交换机上部署SecBlade FW插卡。4. 由于Internet区部署了较多的网站等WEB服务器，因此需要部署LB和IPS设备。来保证负载分担和L2L7层安全过滤。三.4.4. 外联网区 功能描述外联网区用于实现与合作单位的专线网络进行互联，并部署合作单位的前置机服务器。 拓扑设计 设计要点1. 服务器接入交换机部署双机