深圳杯C题绿色机房大型数据中心节能冷却系统重要资料.docx

1、深圳杯C题绿色机房大型数据中心节能冷却系统重要资料大型数据中心节能冷却系统(重要资料)）鹏博士酒仙桥大型数据中心的PUE 设计值不超过1.5。根据收集相关网站信息，全球最最节能的5个数据中心分别是： 谷歌比利时数据中心（PUE=1.16）谷歌比利时数据中心竟然没有空调!根据谷歌公司工程师的说法，比利时的气候几乎可以全年支持免费的冷却，平均每年只有7天气温不符合免费冷却系统的要求。夏季布鲁塞尔最高气温达到66至71华氏度（19-22），然而谷歌数据中心的温度超过80华氏度（27）。惠普英国温耶德数据中心（PUE=1.16） 采用转换效率高的UPS系统。目前，新一代数据中心的设计基本采用新型的高频

2、（IGBT技术）UPS系统，电源转换效率和功率因数都比传统的工频（可控硅技术）UPS系统有非常大的提升，而且重量轻和体积小。由于UPS的电源转换效率和负载率成正向关系，因此在设计和运维时要尽可能提高UPS的负载率。目前国内电信和联通都在提倡使用高压直流UPS系统，取消了传统意义上UPS的逆变功能，不仅电源转换效率提高3到5个百分点，而且可靠性大大提高。上面介绍Google和Facebook干脆在数据中心取消了传统的UPS系统，把电池和服务器的电源相结合，在正常运营时完全没有额外的能源消耗 在夏天室外温度很高时，制冷能力严重下降甚至保护停机。目前国内的数据中心一般采用对室外冷凝器喷水雾或增加凉棚

3、来改善其在夏天的制冷效果。因此数据中心在设计时不能按其额定的制冷量计算，需要留有足够的冗余。 对于传统多层电信机房，一般把室外冷凝器安装在每层的四周，下层冷凝器的热量将不断向上散发，上层的冷凝器效率将大大降低，热量散不出去，形成严重的热岛效应。据了解，北方某联通数据中心因为热岛效应夏天机房的温度高达35以上，大约10%的服务器停机，用户只好运来冰块降温。 精密空调内部风机盘管的工作温度大大低于露点温度，大量产生冷凝水，为了维持数据中心的湿度，需要启动加湿功能。除湿和加湿都要消耗大量的能源。为了加湿，需要将自来水进行软化，即便如此，还需要经常清洗加湿罐中的水垢。1.2 离心式水冷空调系统。 惠普

4、英国温耶德数据中心利用来自北海的凉爽的海风进行冷却。 微软都柏林数据中心（PUE=1.25）微软爱尔兰都柏林数据中心，采用创新设计的“免费冷却”系统和热通道控制，使其PUE值远低于微软其他数据中心的1.6。 从上面可以看出，降低PUE最有效的措施是采用免费自然制冷措施和替代传统的UPS系统。对于数据中心，其能耗一般由IT设备能源消耗、UPS转化能源消耗、制冷系统能源消耗、照明系统和新风系统的能源消耗以及门禁、消防、闭路电视监控等弱电系统能源消耗五部分组成。如果需要降低PUE的值，就需要从以下四个方面采取措施雅虎“鸡窝”式数据中心（PUE=1.08）雅虎在纽约洛克波特的数据中心，位于纽约州北部不

5、远的尼亚加拉大瀑布，每幢建筑看上去就像一个巨大的鸡窝，该建筑本身就是一个空气处理程序，整个建筑是为了更好的呼吸，有一个很大的天窗和阻尼器来控制气流。 Facebook数据中心（PUE=1.15）Facebook的数据中心采用新的配电设计，免除了传统的数据中心不间断电源(UPS)和配电单元(PDUs)，把数据中心的UPS和电池备份功能转移到机柜，每个服务器电力供应增加了一个12伏的电池。同时Facebook也在使用新鲜空气进行自然冷却。 采用高效节能的绿色制冷系统。主要是采用水冷空调和自然制冷措施，下面做详细介绍。 采用LED绿色节能光源取代或部分取代传统光源，据了解，目前在世纪互联和鹏博士的数

6、据中心部分机柜上已经安装LED光源。另外就是运维管理，做到人走灯关，根据人员情况确定新风系统的运行时间和风量。 弱电系统总的能源消耗很小，一般不需要过多关注。但是如果可能的话，最好采用集中的高效直流供电系统，因为一般分布式的小型直流电源系统转换效率低，功率因数也低。目前就职于微软的数据中心最有影响的专家Christian Belady在2006年提出数据中心能源利用率（PUE）的概念。如今，PUE已发展成为一个全球性的数据中心能耗标准。数据中心的PUE的值等于数据中心总能耗与IT设备能耗的比值，比值越小，表示数据中心的能源利用率越高，该数据中心越符合低碳、节能的标准。目前国内一些小规模的传统数

7、据中心，PUE值可能高达3左右，这意味着IT设备每消耗1瓦特电力，数据中心基础设施便需要消耗2瓦特电力。据网络上收集的相关信息，目前GDS在建的4个机房在与第三方设计单位签约时，都是按照PUE值等于1.8的标准进行规划的。世纪互联近五年建设的水冷数据中心的 PUE值在1.5左右。国家强制性房间空调器能效等级标准类型额定制冷量（CC)能效等级123整体式3.303.102.90分体式CC4500W3.603.403.204500WCC7100W3.503.303.107100WCC14000W3.403.203.00针对空调系统制的冷能效比，需要特别说明以下两点：1.1 风冷精密空调这是数据中心

8、最传统的制冷解决方案，单机制冷能力一般都在50到200KW之间，一个数据机房一般都是安装多台才能满足需要。下面是风冷精密空调的工作原理图。风冷精密空调一般采用涡旋压缩机制冷（一般安装在精密空调内），能效比相对比较低，在北京地区一般在1.5到3之间（夏天低，冬天高）。风冷精密空调在大型数据中心中使用存在以下不足： 安装困难。大量的室外冷凝器安装需要非常大的场地，铜管过长不仅影响制冷效率，成本高，安装难度大，而且影响建筑物外观。室外冷凝器的安装位置受空间限制，极可能出现热岛效应，大大降低制冷效率。这是目前新一代大型数据中心的首选方案，其特点是制冷量大并且整个系统的能效比高（一般能效比在3到6之间）

9、。离心式制冷压缩机的构造和工作原理与离心式鼓风机极为相似。但它的工作原理与活塞式压缩机有根本的区别，它不是利用汽缸容积减小的方式来提高气体的压力，而是依靠动能的变化来提高气体压力。离心式压缩机具有带叶片的工作轮，当工作轮转动时，叶片就带动气体运动或者使气体得到动能，然后使部分动能转化为压力能从而提高气体的压力。这种压缩机由于它工作时不断地将制冷剂蒸汽吸入，又不断地沿半径方向被甩出去，所以称这种型式的压缩机为离心式压缩机。离心式制冷压缩机与活塞式制冷压缩机相比较，具有下列优点： 单机制冷量大（350到35000KW之间），在制冷量相同时它的体积小，占地面积少，重量较活塞式轻58倍。 由于它没有汽

10、阀活塞环等易损部件，又没有曲柄连杆机构，因而工作可靠、运转平稳、噪音小、操作简单、维护费用低。 工作轮和机壳之间没有摩擦，无需润滑。故制冷剂蒸汽与润滑油不接触，从而提高了蒸发器和冷凝器的传热性能。 能经济方便的调节制冷量且调节的范围较大。由于热量是通过水的蒸发（在冷却塔中）来散发的，因此夏天室外的高温对其冷却能力影响很小。离心式冷冻机组在小负荷时（一般为满负荷的20%以下）容易发生喘振，不能正常运转。因此，在数据中心水冷空调系统的设计中一般先安装一台小型的螺杆式水冷机组或风冷水冷机组作为过渡。大型数据中心的水冷空调系统一般由以下五部分组成，示意图如下。 离心式冷冻机组，一般为N+1配置，有一台

11、备机，安装在冷站机房。 冷却塔，安装在室外，一般一台冷冻机组对应一组冷却塔（便于维修和保证备机系统正常待机）。冷却水通过冷却塔来降温，由于水在大气中蒸发，因此要设计安装水处理系统来除垢、除沙尘、除钠镁离子和病菌等，否则将大大降低制冷效率。另外，由于数据中心是全年连续运行，还要设计冬季防结冰措施。 环形冷冻水管道。由于数据中心需要连续运行，因此冷冻水的进水和回水管道都要设计成环路，大型数据中心可能设计成二级或三级环路，这样在局部冷冻水管道或阀门发生故障时可以关闭相邻的阀门进行在线维护和维修。为了便于日后的维护、维修、更换和扩展，需要安装设计相当多的阀门。为了防止漏水和提高使用寿命，需要选择优质的

12、阀门，有些工程使用优质无缝钢管，甚至不锈钢管。冷冻水管和冷却水管不允许经过机房区域。在水管经过的区域需要设置下水道和漏水报警设备。为了节能和防止冷凝水，冷冻水管和冷却水管都要采取严格的保温措施。典型的冷冻水循环管道回路如下图所示。采用水冷空调系统，当室外环境温度较低时，可以关闭制冷机组，采用板式换热器进行换热，称为水冷自然冷却。这样减少了开启冷机的时间，减少大量能源消耗。湿球温度在4以下时可以满足完全自然冷却，在湿球温度4到10之间可是实现部分自然冷却。在北京，一年内平均有5个月左右可以实现完全自然冷却，有2个月左右可以实现部分自然冷却。节能效果将是非常明显的。上述介绍的水冷自然冷却由于只需要

13、增加一台不需要动力的板式换热器，投资和占地都比较少，是我们推荐的大型数据中心最佳免费制冷节能方案，系统的原理图如下。 水冷精密空调机。其实就是一个温差小风量大的大型风机盘管，一般推荐采用地板下送风和天花板上回风。为了保证IT设备的绝对安全和便于设备检修，推荐设置物理上独立的空调设备间，四周做拦水坝，地面做防水处理和设置排水管道，安装漏水报警设备。推荐采用N+1或N+2的冗余配置方案。 水泵。冷冻水和冷却水的循环都是通过水泵进行的。水泵的节能除采用变频装置外，应采用较大直径的管道、尽量减少管道长度和弯头、采用大半径弯头、减少换热器的压降等。冷冻机房、水泵、冷却塔、板式换热器和精密空调尽量设计安装

14、在相近的高度以减少水泵扬程。由于大型数据中心的水冷空调系统的电力负荷很大，一般需要为水冷空调系统设计独立的配电室。由上述可以看出，水冷空调系统比较复杂，成本也比较高，维护也有难度，但是能满足大型数据中心的冷却和节能要求压缩机工作时制冷剂蒸汽由吸汽口轴向进入吸汽室，并在吸汽室的导流作用引导由蒸发器（或中间冷却器）来的制冷剂蒸汽均匀地进入高速旋转的工作轮（工作轮也称叶轮，它是离心式制冷压缩机的重要部件，因为只有通过工作轮才能将能量传给气体)。气体在叶片作用下，一边跟着工作轮作高速旋转，一边由于受离心力的作用，在叶片槽道中作扩压流动，从而使气体的压力和速度都得到提高。由工作轮出来的气体再进入截面积逐

15、渐扩大的扩压器（因为气体从工作轮流出时具有较高的流速，扩压器便把动能部分地转化为压力能，从而提高气体的压力）。气体流过扩压器时速度减小，而压力则进一步提高。经扩压器后气体汇集到蜗壳中，再经排气口引导至中间冷却器或冷凝器中。 水冷冷冻机组的工作原理如下： 2、免费冷却技术和数据中心选址目前常用的免费冷源主要是冬季或春秋季的室外空气。因此，如果可能的话，数据中心的选址应该在天气比较寒冷或低温时间比较长的地区。在中国，北方地区都是非常适合采用免费制冷技术。数据中心在环境温度较低的季节，将室外空气经过过滤后直接送入机房作为冷源，也能节省大量能源，称为风冷自然冷却。这种自然冷却方式原理比较简单，成本也比

16、较低，但存在以下不足之处： 要保证空气的洁净度不是一件容易的事。虽然可以通过高质量的过滤网保证空气的洁净度，但由于风量特别大，需要经常清洗更换，同时巨大的阻力也要消耗相当的能源。 不可能实现全年自然冷却，夏季的制冷方式还需要安装单独的空调设备。因此，在大型数据中心中对自然环境要求较高，因此不推荐使用风冷自然冷却方式。上述带自然冷却水冷空调系统中具有以下三种工作方式： 夏天完全靠冷冻机制冷，通过阀门控制使得板式换热器不工作。 冬天完全自然冷却，冷冻机关闭，通过阀门控制冷冻水和冷却水只通过板式换热器。 春秋季节部分自然冷却。这时冷却水和冷冻水要首先经过板式换热器，然后再经过冷冻机组，阻力要大一些，

17、水泵的扬程在设计时相应要大一些。 由于天气在不断的变化，上述三种工作方式也将不断进行转化。为了减轻运维人员的工作和精确控制，所有阀门建议采用电动阀，在空调系统管道若干位置加装可以自动采集数据的温度计、流量计和压力表等，通过一套自动化控制系统全年按最佳参数自动运行。 对于大型数据中心，由于制冷量特别的大，同时考虑到降低N+1备机的成本，一般采用 2+1、3+1或4+1系统，为了便于检修和提高整个系统的可靠性，推荐蒸发式冷却塔、水泵、板式换热器和冷冻机组一对一配置。采用水冷空调系统，当室外环境温度较低时，可以关闭制冷机组，采用板式换热器进行换热，称为水冷自然冷却。这样减少了开启冷机的时间，减少大量

18、能源消耗。湿球温度在4以下时可以满足完全自然冷却，在湿球温度4到10之间可是实现部分自然冷却。在北京，一年内平均有5个月左右可以实现完全自然冷却，有2个月左右可以实现部分自然冷却。节能效果将是非常明显的。上述介绍的水冷自然冷却由于只需要增加一台不需要动力的板式换热器，投资和占地都比较少，是我们推荐的大型数据中心最佳免费制冷节能方案，系统的原理图如下。在部分负荷时，变速装置的节能潜力十分明显。变频冷水机组，冷水机组采用变频电机并作相应的特殊设计，节能效果非常明显。根据YORK公司提供的文件，其变频冷水机组不仅能大大降低喘震，而且重启时间从一般的3到5分钟减少到25至50秒之间。下表是YORK公司

19、提供的一台制冷量1000冷吨的变频冷水机组相对常规定频机组不同负荷的节能效果，负荷越低，节能效果越明显。3、采用变频电机节约能源 我们知道，空调系统的制冷能力和环境密切相关，夏天室外温度越高，制冷能力越低，因此大型数据中心空调系统的制冷量都是按最差（夏天最热）工况设计的（空调的制冷量一般要比其在理想工况下的额定值低，这时建筑物本身不但不散热，反而吸热。）。这样，全年绝大部分时间空调系统运行在负荷不饱满状态。负荷百分比定频机组COP变频机组COP变频机组节能效果100%5.9595.850-1.83%90%6.4586.7043.81%80%6.8777.70612.05%70%7.2188.8

20、8523.10%60%7.53410.34137.26%50%7.77912.12455.86%40%7.40211.72058.34%30%6.35410.76369.39%20%5.4098.90164.56%15%4.8078.01166.65%即便是数据中心处于满负荷状态，但由于数据中心的冷水机组需要常年运行，而室外的气温不断变化，对应冷却塔的供水温度也在不断变化，压缩机的工作压头也随之变化，在这种情况下，采用变频驱动的离心机组能够不断的根据压头的变化调节转速，达到节能效果。下表为机组在室内负荷恒定，机组100%满负荷运行状态下，定频机组与变频机组的节能比较。冷却水温度定频机组COP变

21、频机组COP变频机组节能效果325.965.851-1.83%316.0536.0530.00%306.2246.2680.71%296.4056.4881.30%286.5856.7242.11%276.756.9643.17%266.9367.2063.89%257.1047.4354.66%247.2267.6956.49%237.4357.9567.01%227.6128.1787.44%217.788.4949.18%207.9388.79210.76%198.1039.08712.14%188.2749.42813.95%178.4339.74115.51%168.57710.04

22、817.15%158.74810.34318.23%148.90310.62419.33%139.06410.95520.86%129.20611.30822.83% 变频冷却塔。冷却塔采用变频电机可以在部分负荷和满负荷的不同气象条件下实现节能效果。一般冷却塔的变频电机根据冷却水的温差进行控制，温差一般为5度，若高于5度，将降低频率减少冷量来降低温差，若低于5度，将增加频率加大风量来提高温差。另外，冷却水的温度越低，冷水机组的效率就越高。根据YORK公司在网络上公布的材料，冷却水温度每提高一度，冷水机组的效率就要下降4%左右。因此，在进行冷却塔的变频控制时还要考虑这个因素。4、提高冷冻水的温度

23、节省能源冷水机组标准的冷冻水温度为7到12，水冷空调的标准工况也是认为冷冻水温度为7到12。但是这个温度范围对于数据中心来说有点低，带来以下两个不利因素： 这个温度大大低于数据中心正常运行在40%左右相对湿度的露点温度，将在风机盘管上形成大量的冷凝水，需要进一步加湿才能保持机房的环境湿度。这个除湿和加湿过程都是非常消耗能量的过程。 冷冻水的温度和冷水机组的效率成正比关系，也就是说冷冻水的温度越高，冷水机组的效率也就越高。根据YORK公司在网络上公布的材料，冷冻水温度每提高一度，冷水机组的效率就可以提高大约3%。目前，在集装箱数据中心和高功率密度的冷水背板制冷技术中都把冷冻水的温度设计为12到1

24、8，已经高于露点温度，完全不会除湿，也就不需要加湿。冷冻水的温度提高后，水冷精密空调的制冷能力会下降，实际的制冷能力需要厂家提供的电脑选型软件来确定，一般会下降10%到15%。但是由于冷冻水温度提高后很少或基本不除湿和加湿，加上采用EC调速风机，电机产生的热量减少，整个水冷精密空调的实际制冷能力（显冷）下降并不多。5、选择节能冷却塔设备冷却塔本身的结构和体积决定着消耗能量的多少。对于一般的高层写字楼，由于安装冷却塔的位置有限，一般选择体积小的冷却塔，为了达到规定的散热量，只能加大风机的功率，靠强排风来加大蒸发量。6、封闭冷通道节约能源经过多年的实践和理论证明，数据中心最佳的风流组织是地板下送风

25、，天花板上回风，精密空调设置单独的设备间，机柜面对面摆放冷热通道隔离并实现冷通道封闭（防止冷气短路），示意图如下。国内电信运营商早期的数据中心多采用风道上送风方式，缺点是风道前后的风速差别很大，很难控制每个出风口的风量均匀。虽然每个风口具有调节阀可以调节风量的大小，但是最大风量无法调整，在高空调节不方便，一般运维都做不到及时调整。前几年，国外的一些项目采用热通道封闭技术，一般是在机柜后门安装通道天花板的热通道，取得了比较好的节能效果，示意图如下。 热通道封闭相比冷通道封闭设备成本相对比较高，运行费用也比较高，因为一般在机柜后门安装有风机，需要消耗能源。另外，热通道封闭要做到完全不漏风也是比较困

26、难的，一旦漏风将造成大量冷空气短路。因此，目前冷通道封闭成为最佳推荐方案，APC和日本日东公司都有完整的解决方案，国内的机柜加工企业也可以生产相应的产品。 地板下电缆、各种管道和墙的开口处要求严格封闭，不能漏风。地板上的开口或开孔也都要严格封闭，不能漏风。地板下除消防管道外，建议尽可能不要安装任何电缆、线槽或管道等，这些干扰物会强烈干扰地板下空间的送风气流分布，增加风阻，使不同机柜中设备的冷却性能不均匀。每个机柜的功率密度低于3KW时建议地板的高度为600mm，功率密度在3到5KW之间地板高度建议800mm，功率密度大于5KW时建议地板高度为1000mm。由于防静电地板的尺寸为600mmX60

27、0mm，因此对于单个机柜功率密度小于5KW时的最佳布局是7块地板摆两排机柜，设备对其冷通道，示意图如下。对于高密度机柜，可以根据功率密度和通风地板的通风率决定8块或9块地板摆放两排机柜，示意图如下。标准机柜的宽度为600mm，刚好对应一块地板。服务器机柜的长度一般为1000mm到1100mm之间，相应的热通道宽度为1000mm到800mm之间。为了不使热通道过窄，我们建议机柜的前门及前门框为外挂式，后门为内嵌式，这样前门框和前门的厚度就安装到冷通道内（机柜本身的深度一般1000mm就能满足需要），热通道的宽度相应的不至于过窄，示意图如下。采用冷通道封闭技术后，整个机房除冷通道外都属于高温区，温

28、度将在30到40之间。一年内绝大部分时间的室外空气温度低于机房的热通道温度，因此机房外墙建议不进行保温处理。7、提高机房温度节约能源根据中华人民共和国国家标准GB 50174-2008 电子信息系统机房设计规范，A类和B类机房的主机房温度要求保持在231，也就是22到24。ANSI/TIA-942-2005Telecommunications Infrastructure Standard for Data Centers中规定冷通道温度为华氏68-77度，也就是20到25。美国采暖制冷与空调工程师学会（ASHRAE）2008年新的机房冷通道温度已经从2004年的20到25提高到18到27。

29、人走关灯和关闭大屏幕显示器，减少照明产生的能耗以及相应增加的制冷量。 尽量减少运行新风系统。在机房无人时关闭相应区域的新风系统。 建议冷通道的温度不低于25。定期检查冷通道的温度以免过度制冷造成能源浪费。 定期检查地板，防止各种方式的漏风。 冷通道必须完全封闭，机柜上没有设备的区域必须安装盲板，没有负荷的机柜区域不能安装通风地板。每次设备变更，都要进行检查。 在能够满足制冷的条件下尽可能提高冷冻水的温度，最高为12到18。现代服务器和网络设备等并非传统观念（10年或20年前）中认为的那么娇贵，大部分服务器在温度10-35，相对湿度20%-80%都可以正常运行（ASHRAE认为的设备环境要求，也

30、是绝大部分商用服务器的工作环境要求范围）。因此可以提高空调送风温度，保证IT设备的运行温度即可。当空调系统的送风和回风温度提高1时，空调系统节电约2.5%。同时空调系统的制冷能力提高约5%。因此，在用户认可的条件下，提高机房的温度是节约能源的措施之一。建议数据中心冷通道的温度（ASHRAE标准要求在冷通道中间对准机柜中间1.5米高度测量，每4个机柜至少一个测试点）最低为为24或25.8、科学运维节约能源大型数据中心通过科学运维可以大大提高空调系统的节能效率。常用的科学运维措施包括以下方面。 对于还没有使用的独立机房区域，关闭所有机电设备，包括冷冻水管道的阀门。 定期检修和清洗冷冻机组内的铜管和冷却塔，确保其工作在最佳状态。 对于低负荷的机房，如果精密空调没有EC风机，就要关闭相应的空调，如果是EC风机，要通过实践摸索出更节能空调运行方式。根据相关数据中心的运行数据以及采取上述各种节能措施，在北京建设大型节能数据中心的PUE值是可以达到1.3左右的，其中科学运维是及其重要的。我们建议将绿色数据中心分成以下5个等级。等级简称PUE值范围1级淡绿1.8PUE1.72级浅绿1.7PUE1.63级草绿1.6PUE1.54级碧绿1.5PUE1.45级深绿PUE1.4