数据中心基础设施解决方案.docx

1、数据中心基础设施解决方案XXX数据中心基础设施解决方案施耐德电气信息技术(中国)有限公司2014-10-14第一章 项目概述1.1 项目描述XX公司新大楼预计在2013年初投入运行，为满足新大楼内人员的信息和网络需求，支持周边应用，需要提前在大楼内先建设好一个数据中心，该数据中心预计投运时间为2012年底。经过通盘考虑，该数据中心的主要IT应用包括：支持本大楼和周边人员初期1500，远期最多3000个桌面系统。提供100台虚拟服务器，满足大楼和四川周边生产的应用需求。对现有生产数据中心的数据进行备份。预计40T容量。希望充分利用该机房的物理空间和电力等方面的条件，预留升级能力，远期将该数据中心

2、升级，与现有生产数据中心实现完全互备，形成双机房并列模式。为保证今后要建设的大型数据中心项目（3000-5000m2）的顺利实施，用户还希望通过此400m2机房的建设，进行一次实践，积累机房设计、新技术运用、建设与运行管理等方面的经验， 同时在虚拟化、云计算、整合、备份等方面进行一些应用和尝试。1.2 用户主要关注点为达到上述建设目的，除了遵循数据中心设计和建设的通用标准外，特提出如下设计与建设要求：分期建设，预留在线扩容与升级能力。机房设计在容量和冗余性方面必须预留今后在线扩容和升级的能力，例如可支持的IT负载从240KW今后可扩容到400KW。随着机房所支持应用的重要性的提高，机房的可用性

3、可以从T3升级到T4级别等。初步要求供配电、机柜系统等一次性建设，但是UPS系统和制冷系统分两期建设。节能高效机房。运用国内外成熟的新技术，特别是制冷技术，达到在数据中心成长的各个时间段，均能满足PUE1.8。专家级运行管理系统。在目前机房管理人员少、专业程度不够的现实情况下，为提高机房管理水平，积累机房管理经验，特别要求专家级的数据中心管理系统，实现对机房环境、设备、安防视频、资产、能效、空间、容量、变更等的高效管理。1.3 方案设计范围本方案仅包括基础设施的初步设计和配置清单，即：供配电系统、UPS不间断系统、制冷系统、机柜系统、监控及运行管理系统。不包括装饰装修、布线、消防等部分。第二章

4、 项目需求及相关条件分析2.1 IT需求描述（IT需求分析-配置清单，3-5年扩展计划，可用性级别）根据对IT需求的分析了解：第一期IT负载功率。将安装新大楼40台新大楼机柜、20台虚拟服务器机柜、20台存储机柜、预计初期IT实际运行功率约为240KW。第二期IT负载功率。第二期增加8KW的机柜20个，到时机柜数量将达到100个，实际运行功率达到400KW。机柜类型数量功耗KW小计KW新大楼机柜40280虚拟服务器机柜20360存储机柜205100第二期机柜208160总计1004002.2 扩展计划项目建设分两期：第一期80个机柜，负载为240KW。第二期增加20个机柜，负载增加到400KW

5、。2.3 供电情况分析（市电输入路数，变电站，发电机，变压器，功率，接地系统，防雷系统。）新大楼配置两路市电，每路为数据中心预留1200KVA容量。按照功率因数0.9，安全负载率85%，PUE值2.0保守计算，可以支撑的IT负载至少为1200*0.9*85%/2=459KW。满足前面计算出来的远期额定IT负载400KW的要求。新大楼目前无发电机配置。配电房位于负一楼。电缆通过强电井进入各楼层配电房。2.4 场地环境描述（承重，面积，层高，净高，室外机位置，运输通道，运输方法，防水，门窗，进水与下水，强电井，弱电井，其他管道井，电信接入点。）新大楼数据中心位于大楼二楼，层高5.4m，长34m，宽

6、12m，总面积408m2。承重设计为1000kg/m2。室外机位置，可以就近安放在旁边裙楼楼顶，与本机房齐高，面积足够。因此，本机房物理环境条件很好。2.5 特殊IT设备需求（小型机，刀片式服务器，高端交换机，存储柜体。）该数据中心均采用标准的机架式安装IT设备，无特殊要求，其中有部分刀片式服务器，安装上要求较深的机柜(1200深)。需要考虑今后新的IT设备的安装要求。2.5 行业规范分析（可用性级别，架构喜好，布局规定，产品技术偏好。）由于本数据中心部分应用为生产，因此对可用性要求高，可按照至少T3级别考虑。同时，用户所属行业对品牌及售后有较高要求，只接受国际一流品牌。2.6 维护管理需求该

7、公司机房管理人员均为IT背景，公司内部也没有强电或其他专业人员，因此下面几点在机房建成后的维护管理方面显得尤为重要：1.用户不需要进机房在远端通过一台电脑一个界面就可以看到机房各个子系统的运行情况，包括：供配电，制冷，机房温湿度，机房视频安防等；2.能够提供预报警功能，在电池寿命、配电回路过载、温度湿度过高、三相负载不平衡等潜在危险降临之前发出报警提示，提醒用户尽快整改，避免断电、过温停机等更大事故发生。3.根据数据中心所提供业务的重要性，当出现问题后，需要设备公司能提供快速维护响应的能力。2.6 需求总结通过上述分析，为保证业务的正常运行，该数据中心需要建设供配电系统(包含市电配电、UPS和

8、电池等)、制冷系统、机柜系统和监控管理系统，而且各系统应满足以下需求：供配电系统：需充分考虑IT负载以后的扩展、升级，并预留备用容量；UPS系统的输出功率能够根据IT负载量的变化在线的增加或减少；制冷系统：根据机房的实际情况设计合理的冗余和送回风路径，使其能可靠、高效的运行；考虑到IT负载以后的增长，制冷系统的制冷容量能在线扩容和提供机柜级别的制冷；机柜系统：本机房具有刀片式服务器、机架式服务器和小型机设备，安装在标准的42U服务器机柜（网络布线机柜）或独立的柜体里面。不同于传统的塔式设备，必须为标准42U服务器机柜（网络机柜）和独立的柜体提供机柜级别的解决方案。满足机柜内各种负载的配电、制冷

9、、走线等需求；监控管理系统：能在同一个界面对机房的供配电、制冷和安防通过IP网络进行远程监控；能够在电池寿命、配电回路过载、温度湿度过高、三相负载不平衡等潜在危险降临之前通过邮件、短信等方式发出报警提示。第三章 确定总体设计目标根据本机房的现实物理环境情况，以及预计的初期和远期IT负载的要求，结合目前国内外数据中心基础设施的研究白皮书、最佳实践，提出如下总体设计目标：3.1 数据中心额定容量数据中心IT负载额定容量500KW。100个机柜。根据大楼配电预留功率1200KVA，机房面积408m2，IT负载初期240KW，远期400KW的IT负载需求，决定搭建最大额定容量为500KW的基础设施框架

10、，以保证最大负载时不超过80%的负载率。3.2 成长计划采用可在线扩容升级的架构。在数据中心各个时间段都保持合理的可用性和冗余度。空间布局设计按照100个机柜来做布局。初期启动容量为300KW，初期布局80个机柜。二期增加20个机柜，扩容到500KW容量。3.3 可用性级别考虑到本数据中心部分应用与生产有关，因此，对可用性要求较高，按照至少T3可用性级别进行设计。3.4 机柜密度与密度分布根据对IT负载分析，决定采用3种功率密度组。其中60个机柜为3KW功率密度，20个机柜为6KW功率密度组，20个机柜为9KW功率密度组。共计100个机柜。机柜的功率密度与机房布局、机柜配电、制冷系统的设计密切

11、相关。3.5 能效使用效率PUE确定年平均PUE=1.8，避免不同时间、不同负载率、不同季节时瞬时PUE的差异。为了实现节能减排，展现本企业的社会责任感，降低数据中心运行耗电量，减少运行电费成本，要求达到上述PUE战略设计目标。第四章 初步设计规划4.1 设计思路究竟应该采用怎样的解决方案呢？让我们首先看看在数据中心基础设施设计过程中主要面临的几个问题：负载容量难于估计。不能准确估计初期和今后数年内的IT设备真实负载情况，从而不能确定基础设施的容量和规模。机柜功率密度难于估计。很难估计每个机柜的初期功率密度以及今后密度的变化情况，这使得机柜级的制冷系统和供配电系统的设计非常困难。扩容困难，灵活

12、性差。基础设施的扩容或机房的改造是非常麻烦的事情，工期很长，需要作出的调整很多，甚至要求现有IT系统断电停止运行。数据中心效率低，运行成本高，全寿命周期TCO高。建设数据中心需要不少投资，而运行数据中心也需要花费大量的金钱，随着能源价格的不断上升，电费的增长是一个必须被考虑的因数，国家对二氧化碳排放的限制以及节能减排的企业责任的要求，都导致我们必须仔细考虑数据中心的运行效率 ，关注PUE值。而传统的一次性投入的基础设施设计模式将会造成很长一段时间内负载率都比较低，低负载率将带来低效率和高运行成本。必须采用合理规划的模式。维护困难，操作复杂。传统的基础设施设备均为非标准化设计，要求专业技术人员才

13、能进行维护。这会使得故障恢复时间漫长，降低数据中心可用性。目前基础设施的架构有两大模式：采用分离部件，一次性搭建模式。现场人工施工环节多，施工技能要求高。系统总体负载率低，运行效率低，运行成本高。扩容复杂。采用模块化组件，分期分批构建模式。现场施工环节简单，施工技能要求低。任何时间段均能保持较高负载率，运行效率高，运行成本低。扩容简单。为解决上述问题，显而易见，采用集成的、模块化、标准化、预制化的组件式的分批分期建设模式，是数据中心基础设施解决方案的合理架构。这种架构的系统能够为用户搭建高可用的、灵活的、绿色的数据中心。数据中心实际是由三大系统构成的：建筑物、IT系统、基础设施系统。在设计的时

14、候，这三大系统之间的关系必须遵循一个原则，即低关联度的原则。如果这三者互相之间关联度高，意味着系统互相之间会有很多要求，例如，基础设施采用下走线方案，就要求机房要采用高架地板，要求机房梁下净高不低于3.2米，这个下走线的方案就是属于高关联度方案。高关联度使得互相之间要求太多，一旦条件受限，方案就不能实施，改变一个条件就使得相关系统也要发生改变，一发而动全身，灵活性降低。因此，采用低关联度、高兼容性的解决方案是一个重要的设计思路。4.2 初步设计规划根据用户的偏好、现场的限制条件以及前期与用户确定的5个重要总体设计目标，最终选择如下的初步设计。4.2.1垂直空间布局目前得到的新大楼二楼层高为5.

15、9m，梁下净高5.4m，总体来说机房物理空间条件还是很好的。基于上述数据，决定如下空间设计。采用高架地板，高度40cm，地板下走空调管线、电源系统主电缆、电池电缆、消防、监控系统、插座电缆等管线。高架地板下水泥地面做修平除尘刷漆处理，不用做保温。不采用整体天花板，可采用顶部刷漆涂黑、局部装饰吊片方式，装饰吊片离机柜顶部距离100cm。简约、现代风格。天花板水泥表面可做保温处理，提高制冷效率。四周墙壁用彩钢板处理，保温，美观。为提高机柜线缆的可用性，方便今后线缆的扩容和维护管理，首先决定机柜排的电源线和数据线全部上走线。可以采用机柜顶部卡装的走线槽 + 局部吊线架的走线模式，数据线和电源线桥架平

16、行布局，以节省空间高度。线缆走线槽和吊线架位于机柜正上方。灯盘位于热通道和冷通道上方。其他管道如消防、监控、空调管道也合理布局，不发生干涉。机柜顶部卡装的走线槽高度为18cm，电源线和数据线走线槽平行布局。采用42U机柜，高度200cm。4.2.2 平面布局根据设计思路，机房分两期建设。机房的布局和配置，必须保证今后第二期可在线扩容。为方便今后扩容，扩大机房利用率，扩大空调利用率，提高能效比，降低施工的复杂度，决定主机房采用开放式布局。基本设计思想如下：开放式布局。整个房间全开放。提高空间利用率。减少布线、配电、消防和制冷的麻烦。减少辅助的装饰装修，方便今后的扩容。电池部分尽量远离其他柜体。提

17、高安全性。就近配电原则。总配电柜靠近市电进线管道井配电。UPS的输出配电盘与IT机柜摆放在一起。配电盘为5U高，机架式安装在IT机柜内，缩短到每个机柜的配电距离。提高配电可用性。热量集中就近制冷原则。机柜背对背两排布局，中间为热通道，热量集中。便于高效制冷以及制冷共享。机柜密度组设计原则，对同样密度的机柜采用同样的设计，并尽可能放在一起。按需规划，预留今后扩容柜体位置。包括机柜位置、电池柜体位置、空调柜体位置。但是空调管道，在第一期建设中即全部安装焊接好，降低今后在机房内动火焊接的风险。机房整体布局图如下：第一期80个机柜，负载额定功率为240KW；第二期增加20个机柜160KW，总功率达到4

18、00KW。4.2.3 UPS供配电系统考虑到初期机房的IT负荷为240KW，远期达到400KW的预估情况，同时考虑到IT双电源负载对供配电冗余能力的要求以及今后的在线扩容的要求，决定采用双路模块化供配电系统。采用两套初期功率为300KW模块化冗余UPS系统，可用性可达99.999%,今后每套模块化UPS可扩展到500KW。满足远期要求电池方面，由于大楼有双路市电，考虑到制冷延时的问题，考虑到机房温升的速度，机柜功率密度等，UPS系统的电池不宜配置太多，综合因数决定初期配置240KW下30分钟的延时时间。UPS的输出配电柜。由于预计机柜数量初期80个，远期达到100个机柜，并且分成3个功率密度组

19、，60个3KW，20个6KW，20个10KW机柜。考虑到部分小机、今后可能的刀片式服务器等有额外的配电需求，因此，决定每条供电回路配置2个输出配电柜，总计4个UPS输出分配电柜。每个配电柜内最多配置72个开关，预先配置30个32A开关，30个16A开关。4个配电柜共计240个支路开关。为实现就近配电，方便今后配电回路扩容，方便实现对每个机柜内插线板的实际用电情况实现监控，降低局部的过载断电事故，决定采用机柜式的精密配电柜，能够对每路支路开关电流和开关状态进行监控。为方便今后配电回路扩容，采用可在线热插拔模式的开关，并提前安装好支路电流监控。4.2.4制冷系统由于预计机柜数量初期80个，远期达到

20、100个机柜，并且分成3个功率密度组，60个3KW，20个6KW，20个10KW机柜。再考虑到要求年平均PUE=1.8，以及高密度10KW机柜市电断电后的连续制冷问题，决定整个系统采用冷冻水系统，全部采用水平送风模式空调，热通道封闭系统。室外冷冻水机组采用带有自然冷却功能的风冷冷冻水机组。初期两台250KW制冷量机组并联，预留管线和位置，远期再并联一台250KW机组。4.2.5机柜及通道封闭系统根据初期80个机柜，远期达到100个机柜，功率密度为3,6,10KW的要求，以及考虑到会有小型机、刀片式服务器等IT设备根据需求，决定统一采用600宽1200深的42U高服务器机柜。对于3KW和6KW机

21、柜，每个机柜配置2路16A或32A机架式垂直安装插线板。10KW机柜，每个机柜配置4个垂直安装32A插线板。机柜两排一组，背对背布局，顶部和侧边封闭，形成热通道遏制系统。机柜内预装多个1U盲板和走线附件，机柜顶部安装电源线和数据线的卡装式走线槽。选装少量固定托盘，以应对少量塔式设备的安装。4.2.4环境、设备及安防的集中监控系统为方便运行管理，降低人员工作量，实现远程无人值守功能，可搭建一套集中的监控管理和报警平台。对基础设施设备（UPS、电池、配电柜、空调等）、环境（温度湿度、噪音、露点、风速、烟感、洁净度等环境参数）、视频等三大部分实行集中的监控管理和报警。4.2.5 数据中心运行管理系统

22、为提高数据中心的管理级别，实现资产管理、容量管理、变更管理等，从而优化数据中心各资源调配，还可配置一套数据中心基础设施运行管理专家系统，搭建数据中心的3D模型，从而可以进行模拟推演，实现预测、评估、优化等功能。4.3 扩容方案项目分两期建设，第一期80个机柜，240KW 负载，第二期增加20个机柜，增加负载160KW。如平面布局图，机房由5个微模块构成，每个微模块由20个机柜及相应的制冷配电等构成。第一期搭建4个微模块，第二期再增加一个微模块。在第一期搭建两套500KW的框架，每套配置300KW UPS。第二期直接在线增加功率模块，扩容到每套500KW。4.4 方案优势总结本项目基础设施部分最

23、终采用了模块化、标准化、集成化的整体解决方案，具有如下优势：快速。模块化组件的模式，提高了方案在设计、建造、维护、扩容等各个阶段的速度。灵活。模块化的架构，可分批分期构建，非常方便今后的更改与在线扩容。高效。年平均PUE值可达1.8。就近配电、就近制冷、合理的负载率的原则，使得在数据中心的任何时间段，都具有很好的电能利用率PUE。降低了运维成本，在同样的电力资源下，可支撑更多的IT负载和应用。适应。对物理空间环境要求低，兼容性强。高可用性。通过工厂预制组件，降低现场施工的人为故障，通过模块化的架构，提供故障时的快速更换与维修，通过冗余的架构，提高了系统的可用性。可管理性。采用标准化、模块化架构

24、，搭建集中管理平台。该系统不但可以实现对基础设施系统与设备、环境和安防视频的集中监控，还可以快速搭建数据中心模型，进行模拟分析，实现预测与评估，提供专家级的优化建议。通过资产、容量、能效、变更、CFD等功能模块的部署，该系统不但在运维管理阶段、甚至在数据中心生命周期前期的规划设计、建设验证等阶段，都可以帮助用户更均衡和合理的搭建、分配和利用各种资源，提高数据中心的安全性、可用性和运行效率，提高整个系统的灵活应变能力。 第五章 供配电系统解决方案5.1设计思路本项目大楼配置两路1250KVA市电，一路1000KW发电机。经过ATS切换后形成两个对称的2000A母排。5.2建议方案5.2.1方案介

25、绍 机房总体配电系统的示意图如下图所示。 采用两个强电配电柜，每个配电柜均配置两路市电母排，以及一路市电输入连接铜牌端子，如图示。每个强电柜内配置一个ATS切换开关，每套ATS切换开关后带一套UPS供配电系统，以及为一半的空调，新风，排风系统，照明，插座等供电。UPS系统为IT机柜、消防系统、监控系统、应急照明系统等供电。门禁系统、空调、新排风系统与消防系统联动，新风系统可手动控制。两个强电柜按照大楼预留的1200KVA功率进行总开关和铜排容量设计，配置智能多功能电量仪，并采用Modbus通信接口列入管理系统。强电系统采用上走线模式。强电系统预留最终能满足400KW IT负载所需要的UPS系统

26、、空调系统等的开关。5.2.2配电柜及元器件的选择本设计配电柜中断路器为国际知名品牌施耐德、ABB、西门子等产品，柜体选用原厂柜，提供高可用性。空调/照明断路器带有消防分励脱扣线圈，与消防报警联动。配电柜中设智能电量监测仪，配电柜各主要断路器带辅助触点，可在监控室监测机房供电情况。5.2.3配电系统配置清单名称型号数量市电总输入开关CVS160N/3P-125A1UPS输入开关CVS100N/3P-100A1空调、照明总开关CVS100N/3P-50A（MX+OF）1空调开关C65H-D16A/3P2新风机开关C65H-D10A/1P1照明开关C65N-C10A/1P1电量仪PM8101第六章

27、 UPS不间断电源解决方案6.1 设计思路根据前期T3可用性要求，决定搭建2N+1的UPS供配电系统，考虑到分两期建设，要求实现在线扩容，最终IT负载达到400KW，并且年平均PUE=1.8，最终决定采用两套高效率的模块化UPS供配电系统，每套额定容量500KW。6.2建议方案每套模块化UPS初期配置300KW N+1，根据IT发展随时增加UPS功率模块。每套UPS初期各配置4组100AH 12V电池，形成240KW下30分钟延时支撑时间。配置多组电池的目的也是提高电池系统可用性，配置100AH电池是因为性价比最高。为提高电池系统的可用性和扩展能力，专门配置多功能电池开关柜，预留配置4组电池的

28、接线端子，每组电池配置分开关和熔断器，以进行短路防护。电池系统配置温度传感器，及时报警。为提高模块化UPS系统的可用性，每套UPS专门配置独立的静态旁路柜体，可在线更换旁路模块，不采用简易的每个UPS功率模块内置小容量静态旁路的模式。另外，为预防模块化UPS极端故障情况下的不间断供电，每套UPS系统还配置独立的输入输出和维修旁路开关柜，保证在危急情况下也可以经由市电为IT机柜供电。因此每套UPS包括6个柜体：2个功率模块柜、1个静态旁路模块柜、1个输入输出旁路配电柜体、1个电池开关柜体、4个电池柜。今后根据需要可再增加4个电池柜体。在400KW负载下，如果每套UPS配置8组100AH电池，可支

29、持32分钟，满足设计要求。机柜配电的设计。UPS输出配电柜配置支路开关，每个支路开关后连接一个半机柜宽的智能精密配电柜，每个配电柜最大电流400A，支持最多72个单相32A热插拔开关。配置监控系统、液晶显示和通讯网卡，可对每个机柜的支路开关进行实时监控，提供电压、电流、功率、功率因数等数据，可对过载以及开关跳闸进行报警和预设定门限，实现专家级运行管理功能。初期每套UPS系统配置2个半机柜宽的智能精密配电柜，满足后期机柜的增加对配电的需求。UPS到机柜PDU的供电拓扑图如下：3.3.3 UPS系统特点及优势 3.3.4 UPS系统配置清单第七章 机房制冷系统解决方案7.1设计思路为满足年平均PU

30、E1.8的设计要求，提供对2-10KW机柜密度的全兼容能力，并可以在线扩容，决定采用机柜排级别的水平送风模式空调。为降低建造成本，实现自然冷却，决定采用冷冻水换热模式。4.2空调系统方案4.2.1热负荷计算 机房的热负荷组成由IT设备的热负荷、UPS及PDU的热负荷、照明、物理空间负荷、新风负荷、人体热负荷等负荷组成。机房IT负载初期为240KW，扩容后最大IT负载达到400KW。 机房暂以4个工作人员计算。初期IT负载5KW/6KVA时，机房的总热负荷为：从上图可以看到，初期机房的总热负荷为7.79KW，其中显热量为7.13KW，机房热负荷的显热比为0.92。远期IT负载增加到400KW时，

31、机房的总热负荷变为：从上图可以看到，远期机房的总热负荷为12.07KW，其中显热量为11.41KW，机房热负荷的显热比为0.95。4.2.2空调选型及配置由上述计算得到机房远期总热负荷为12.07KW，建议机房采用2台施耐德上送风后回风的空调机组SUA0331空调机组，形成1用1备。每台SUA0331空调机组送风量为1950CFM，能提供9.3KW制冷量。这样配置的好处是：前期IT负载为5KW时，机房的总热负荷为7.79KW，此时2台SUA0331空调机组形成1用1备，提高了制冷的可靠性；远期IT负载为9KW时，机房的总热负荷为12.07KW，此时2台SUA0331空调机组也能满足机房制冷需求；即使1台空调坏了，另外1台也能支持机房77%的制冷量，最大限度地提高了机房制冷的可靠性。机房内部的送回风路径如下图所示，电池柜、UPS柜和机柜一排摆放，机柜前面为冷通道，后面为热通道；为了提高制冷效率，空调顶部加风帽将上送风改为前送风，直接将冷空气