数据中心能效优化策略研究.docx
《数据中心能效优化策略研究.docx》由会员分享，可在线阅读，更多相关《数据中心能效优化策略研究.docx（11页珍藏版）》请在冰豆网上搜索。
数据中心能效优化策略研究
数据中心能效优化策略研究*
摘要：
数据中心数量及规模的增长使得数据中心能耗问题愈发凸显，多国政府针对数据中心能耗问题制定了相应的政策、法规，以促进数据中心节能。
对数据中心能耗构成及能效指标进行了研究，从供配电系统、制冷系统及IT设备3个方面对数据中心能效影响因素进行了分析，然后对当前主流的数据中心能效优化策略进行了总结；在此基础上，提出了数据中心即服务的能效优化策略，该能效优化策略充分考察了数据中心服务性能和能耗的匹配性，能够有效实现数据中心全局能效优化。
关键词：
数据中心；能效优化；策略
0 引言
近年来，通信、互联网、金融及一些传统工业企业都开始加入到数据中心投资建设的浪潮中，数据中心建设总体规模较之前有明显提升。
尽管数据中心较好地支撑了信息产业的发展，但是数据中心的能耗问题也日益凸显，据国际环保组织绿色和平与华北电力大学联合发布的数据显示，2018年我国数据中心用电总量达到1608.89亿千瓦时，占我国社会总用电量的2.35%，到2023年，该数值可能会达到2667.92亿千瓦时[1]。
数据中心的高能耗问题引起了各国政府、业内机构及专家的广泛关注。
多国政府出台了数据中心能效管理政策及法规，并对数据中心能效提出了更高的要求。
在我国，2019年工业和信息化部发布了《关于加强绿色数据中心建设的指导意见》，明确提出到2022年我国新建数据中心PUE应低于1.4。
同时，为应对数据中心高能耗问题，行业组织和专家也开展了大量的工作，通过制定数据中心能效评价指标对数据中心能效状况进行分析和评估，从而指导数据中心能效优化。
可持续发展观念的普及，以及我国政府碳达峰、碳中和工作目标的确立使得数据中心能效优化策略的研究变得十分重要，绿色数据中心、零碳数据中心是数据中心产业发展的必然趋势。
良好的能效优化策略能够有效降低数据中心能耗，推动数据中心绿色发展。
1 能耗组成与能效指标分析
1.1 数据中心能耗构成
数据中心能耗主要由两部分构成，分别是IT设备和基础设施（见图1）。
其中，IT设备可以被认为是数据中心的获利之源，数据中心主要是通过IT设备为企业及用户提供IaaS、PaaS及SaaS等多种类型的基础服务，并通过这些服务获得收益，IT设备主要由服务器、存储及网络设备构成。
基础设施主要由供配电、制冷、照明、办公、消防、安保等系统构成，基础设施是确保IT设备能够正常运行的重要保障。
在上述能耗设备中，供配电系统、制冷系统及IT设备能耗占比较高，通常情况下，IT设备能耗占比最大，其次是制冷系统[2]。
图1 数据中心能耗来源分解
1.2 数据中心能效指标制定合理的能效评价指标是开展数据中心能效评估及能效优化的先决条件，不少行业组织针对数据中心能效制定了相应的评价指标。
例如，美国绿色网格联盟（TheGreenGrid，TGG）定义了PUE、DCiE、CLF/RLF、CUE、WUE、ITTC、ITTR等能效指标，我国云计算发展与政策论坛（ChinaCloudComputingPromotionandPolicyForum，3CPP）发布的《数据中心能效测评指南》进一步引入了pPUE指标，该指标主要对数据中心部分设备或区域能效状况进行评估。
在服务器能效指标方面，开放数据中心委员会（OpenDataCenterCommittee，ODCC）发布的《服务器能效测试白皮书》对服务器整数运算、浮点运算、读写速度、Web性能等活动的能效比进行了定义。
在基础设施方面，制冷行业普遍采用COP对制冷设备能效状况进行评估，供配电系统则可以利用电源转换效率EFF和电源功率因数PF指标进行评估。
在众多能效评估指标中，PUE是当前最受产业界认可的数据中心能效评估指标之一。
PUE在数值上等于数据中心总能耗与IT设备能耗之比，PUE能够反映出数据中心总供电中有多少电能被IT设备使用，PUE值越小表明数据中心IT设备能耗占比越高，数据中心电能得到了更加有效的利用。
数据中心能效指标为数据中心能效优化提供了方向。
以PUE为优化目标，从数据中心整体层面上来看，数据中心能效优化的基本目标是对PUE进行优化，PUE优化的基本思路是在不影响数据中心业务处理能力的基础上，尽量降低供配电系统及制冷系统的电能损耗，使更多电能被IT设备利用。
在系统及设备层面上，服务器能效比、COP、EEF和PF等能效指标从本质上来看都反映了系统输入与输出的比值，因此在对系统或设备进行能效优化时，其基本思路是减少电能损耗，扩大有效输出。
2 影响数据中心能效的因素
数据中心能耗主要由供配电系统、制冷系统及IT设备能耗构成，因此在分析数据中心能效影响因素时，可以重点从这三个方面进行分析。
2.1 供配电系统数据中心供配电系统将为数据中心制冷设备、IT设备、照明设备及其他设备提供电能支持，电流在流入数据中心的过程中将会依次经过传入、传输、使用和备份这4个环节[4]。
如图2所示，传入环节的电能损耗主要由变压器产生，传输环节的电能损耗由线路和各类配电设备产生，使用环节的电能损耗由服务器开关电源产生，备份环节的电能由蓄电池存储。
图2 数据中心供配电系统的构成
在传统数据中心机房中，传输环节中的UPS配电设备电能损耗占比较高，因此针对UPS电源的能效优化策略研究相对较多。
UPS电源电能转换效率是负载率的函数，负载率为40%~80%时，效率曲线刚性较强[5]。
在通常情况下，UPS负载率不宜超过80%，长期高负荷运行可能会缩短UPS使用寿命。
UPS供电环节的电能损耗与其本身的供电特性及负载变化有关。
从UPS供电特性角度来看，UPS能够将交流电转变为直流电，电流在流过UPS和服务器电源时将会经过AC（220V、50Hz）—DC（400V）、DC（400V）—DC（12V）这两个过程，UPS在电能转换过程中产生的电能损耗往往难以避免。
从负载变化角度来看，不少数据中心在进行供配电系统设计时，往往会按照IT设备最高负载下的电力需求进行冗余设计，而实际上数据中心大多时候运行负载并非处于高负载运行状态，低负载状态下UPS电能转换效率低，这使得数据中心UPS能效无法得到进一步的提升。
2.2 制冷系统数据中心热量的集聚将会对数据中心IT设备造成巨大的损害，在严重情况下，甚至会造成设备宕机。
数据中心制冷系统主要由末端精密空调、AHU（组合式空调箱）、风机、冷水机组、冷却塔等设备构成。
数据中心制冷系统能耗与制冷系统能效比、外部可用自然冷源及机房内局部热点等因素有关。
制冷系统能效比是指制冷系统消耗单位电能产生的制冷量，在数据中心发展早期，制冷系统末端以风冷直膨式家用空调为主，制冷系统能效比较低。
随着水冷系统、新型精密空调末端及液冷技术的发展，数据中心制冷系统能效比不断提升，制冷能力不断增强，例如风冷直膨式精密空调的COP通常低于3.0，冷水机组的COP可以达到3.0~6.0[6]。
在制冷设施不断发展的同时，数据中心制冷设施布局也在发生变化，数据中心制冷末端正在不断向热源靠近，逐渐从早期的房间级制冷向着行级、机柜级和服务器级方向演进。
制冷末端越靠近热源，制冷效率越高，但是前期投入也会相对较高，同时靠近热源的制冷系统容易产生单点故障，运维难度较高[7]。
液冷技术就是一种典型的服务器级制冷技术，近年来液冷技术正在逐渐兴起，液冷技术依靠液体传热媒介对机柜或IT部件进行换热制冷，液体比热容远高于气体，制冷效率更高，节能效果更好[8]。
从外部可用自然冷源角度来看，外部自然冷源越充分时，数据中心制冷系统机械制冷的时间可以进一步缩短，制冷系统能耗越低。
根据采用自然冷源的类型不同，可以将自然冷源制冷技术分为风冷自然冷和水冷自然冷，两种自然冷技术各有利弊，水冷自然冷设施部署相对复杂，但是节能效果显著，在我国数据中心项目设计中受到广泛认可；风冷自然冷设计简单，但是会受到外界空气质量制约，低质量的空气在进入到数据中心后会对IT电子元器件造成侵蚀，间接风冷虽然能够通过间接换热避免新风进入数据中心，但是该技术设备体积过大，难以大规模推广。
局部热点是机房内温度场不均匀分布引起的局部过热现象，局部热点的产生会使IT设备运行环境恶化；同时，制冷设备需要提供更大的制冷量才能平衡局部热点，这会增加制冷能耗[9]。
在高密度部署的数据中心机房内，业务负载在分配过程中可能会集中到局部区域设备，使局部区域设备产生较高热量，形成局部热点。
此外，还有些机房存在制冷设备冷量分配不合理、气流组织紊乱等问题，例如在风冷直流制冷系统中，热风回流现象会导致数据中心机房温度分布不均，造成局部热点，并使制冷系统效率降低[10]。
2.3 IT设备IT设备是数据中心各项业务活动的主要承担者，IT设备能耗主要与虚拟化技术应用程度、IT设备自身能效比及IT设备利用率等因素有关。
在虚拟化技术支持下，数据中心内的计算、存储及网络资源将会以资源池的形式呈现，底层硬件的差异性将被屏蔽，数据中心能够根据用户需求为其提供相应的资源，实现资源的动态调度和按需分配，数据中心资源调度效率得到明显提升，这也意味着在相同能耗条件下数据中心能够对外提供更多服务。
IT设备能效比是指IT设备单位功耗可以处理、存储及传输的数据量，IT设备能效比越高表明数据中心设备节能效果更高。
IT设备能效比与IT设备在设计过程中的硬件配置及制造技术有关。
IT设备利用率是指IT设备为了处理某项业务而利用的各类资源占资源总量的比值，业务负载量的增加会导致IT设备资源利用率的增加，IT设备使用资源量越多时，维持这些资源运行所消耗的电能也就越多。
在IT设备中，服务器能耗占比较高，因此IT设备资源利用率的研究通常针对服务器来展开，服务器资源利用率可以通过构建加性模型或基于CPU使用率的能耗模型来进行描述，加性模型将服务器能耗描述成各部件，如CPU、内存、磁盘、I/O设备和网卡等部件的能耗之和，但是现有监测平台在服务器子系统能耗测量方面较为困难，这使得该模型难以应用于工程实践。
考虑到CPU能耗在服务器总能耗中所占比例较高，因此服务器能耗通常被描述为CPU利用率的线性或非线性函数。
常见的线性表示方式为[11]:
P=（Pmax-Pmin）u+Pmin。
其中，Pmax和Pmin分别是服务器满载及空闲时的功率，u为CPU利用率。
CPU能耗不仅与利用率有关，同时还与其时钟频率存在以下关系[12]:
P≈ACV2f。
其中，A为转换系数，C为常数，V为电压，f为时钟频率。
CPU运行频率越高，其能耗越高，同时CPU业务处理速度也会相应提升。
3 数据中心能效优化策略
3.1 供配电系统能效优化策略在供配电系统中，UPS能效优化策略主要有两种，一是根据数据中心负载动态变化来动态调控UPS电源，具有休眠节能功能的UPS系统能够实时监测系统负载率大小，当负载率低于设定值时，UPS进入休眠状态，负载率超过设定值时，休眠的UPS启动并投入到并联系统中[5]；二是在同一时间将高负载和低负载任务放置在同一级电力设施中，这将有效提升数据中心UPS电源的电能转换效率，降低UPS电能损耗[13]。
传统UPS供电产业链成熟，但是其转换率难以进一步提升，高压直流（HDVC）具备可靠性高、成本低的特点，逐渐在数据中心供电系统中崭露头角，“HDVC+市电直供”模式供电效率可以达到94%~95%，HDVC离线模式供电效率则可以进一步达到97%以上。
目前，BAT等大型互联网公司广泛采用HDVC进行数据中心供电，HDVC将成为数据中心供电系统节能的重要技术方向。
3.2 制冷系统能效优化策略数据中心的制冷量与数据中心机房内的总热量呈现出正相关性，数据中心机房制冷既要考虑全局冷量供应，同时还需要确保这些冷量分配到局部IT负载。
数据中心制冷系统能效优化可以从以下几个方面来考虑。
3.2.1 根据实际情况选用适合的制冷技术数据中心需要根据机房功率密度、运维能力及资金等情况灵活选用适合的制冷技术，在条件允许的情况下，尽量选用能效比较高的制冷设施。
冷水机组能效比高于风冷直膨式空调，在运行数据中心应该逐步淘汰能效比较低的制冷设备，引入风冷、水冷冷水机组等新型制冷设备。
机柜功率密度低的数据中心可以直接采用房间级制冷方案，功率密度高的数据中心则可以综合采用液冷和非液冷制冷方案，由液冷承担主要热负荷，非液冷提供机房全局制冷。
3.2.2 提升IT设备的耐热性能IT设备耐热性能提升后，数据中心制冷系统制冷量也会相应减少，制冷系统能耗自然降低。
对于新建数据中心，承建方可以在考虑节能及成本的基础上为数据中心部署能效比较高的制冷设备及耐热性能更好的IT设备。
在耐高温服务器设计方面，国内外有不少企业已经开始进行耐高温设备的设计开发，华为公司通过服务器主板布局设计和散热设计打造耐高温服务器，其开发的RH机架全系列服务器、E9000刀片服务器皆可支持40℃高温环境。
耐高温IT设备的出现将会有效缓解数据中心制冷压力，同时也会在很大程度上提升IT设备运行安全性。
3.2.3 充分利用自然冷源，减少制冷系统能耗该策略不仅要考虑引入新型制冷系统，同时还需要外部环境的支持。
在一些自然冷源相对充裕的地区，数据中心可以充分利用风冷自然冷或水冷自然冷技术交换室内外空气热量。
当前，有不少大型互联网公司，如阿里巴巴、优刻得和快手等，都纷纷选择在内蒙古乌兰察布地区建设数据中心，这与乌兰察布市全年平均气温较低有着密不可分的关系，乌兰察布市全年平均气温为5℃~7℃，建设在乌兰察布的数据中心每年可以享受到近10个月的自然冷源，这将有效降低数据中心制冷系统能耗。
在我国，冷源比较充沛的地区，其地理位置通常较为偏远，如云南、贵州和内蒙古等地，而从数据中心算力需求角度来看，我国东部地区用户对算力需求明显高于中西部，在偏远地区建设数据中心可能需要面对数据中心远距离传输造成的服务质量问题。
因此，数据中心在选址时应该在服务质量和节能之间寻求平衡点。
3.2.4 消除机房局部热点机房局部热点的消除可以从温度控制和负载控制两个角度着手，从温度控制出发，可以通过CFD仿真模拟数据中心机房内的气流组织情况，提出气流优化方案，改善机房热风回流、气流不畅等问题，有效提升机房制冷效果[14]；从负载控制出发，可以通过建立负载分配分散度函数模型，改善负载分配，防止负载集中到局部区域，形成局部热点。
3.3 IT设备能效优化策略在IT设备中，服务器能耗占比较高，服务器能耗优化策略主要分为两大类，一类是基于硬件性能的能效优化，另一类是基于负载调度的能效优化。
基于硬件性能的能效优化主要是指通过研发低能耗电子元件或采用动态调压调频（DynamicVoltageandFrequencyScaling，DVFS）技术来降低服务器能耗。
DVFS通过调整CPU电压和频率方式来调节处理器用电量，DVFS会在一定程度上降低系统的实时性。
DVFS可以和批处理技术相结合，在负载较低时，将网络请求缓存起来，利用DVFS技术降低处理器能耗，此时请求响应时间的下降对系统负载处理性能的影响较小。
随着数据中心业务负载量的增加及业务实时性要求的提升，单纯以DVFS技术降低服务器能耗变得困难。
虚拟化技术的快速发展使得负载调度变得更加简单，在虚拟化技术支持下，服务器可以通过负载调度将负载均衡分配到少量服务器上，并使暂时闲置的服务器处于休眠或关闭状态。
常见的服务器负载均衡调度算法包括静态负载均衡算法、动态负载均衡算法和仿生物负载均衡算法等，其中静态负载均衡算法不考虑当前时刻服务器设备的运行状况，只是按照预先设定的方案对用户请求进行分配，动态负载均衡则根据系统运行时的负载状况来动态分配负载。
常见的静态负载调度均衡算法包括轮询调度算法、加权轮询调度算法、随机调度算法、加权随机调度算法、目标地址散列调度算法、源地址散列调度算法。
常见的动态负载均衡算法包括最小连接调度算法、加权最小连接调度算法、基于局部性的最小连接调度算法、带复制的基于局部性的最小连接调度算法。
静态负载均衡算法和动态负载均衡算法在进行负载调度的过程中很容易造成局部最优解，并且在负载调度后难以根据负载在服务器上的执行情况对虚拟机进行迁移，仿生物智能算法在提升数据中心负载均衡度，实现服务器虚拟机动态迁移方面具有更好的表现。
常见的仿生物智能算法包括遗传算法、蚁群算法、粒子群算法和人工蜂群算法等。
当前不少数据中心在规划阶段会根据IT最高负载对基础设施进行冗余设计，这给供配电系统及制冷系统带来了极大的能耗。
考虑到IT设备能耗对基础设施能耗的影响，有研究提出了随负载动态变化的数据中心全局能效优化策略[15]，该能效优化策略通过设计一套随负载及机房热分布动态变化的基础设施控制系统，实现了制冷设备及供配电系统的节能调度。
为了更好地实现供配电系统及制冷系统随着业务负载的动态调度，艾默生公司通过开发IPS和PEX空调群控功能实现这一动态调度需求[16]。
4 数据中心即服务能效优化策略
虚拟化技术及云计算管理框架的快速发展使得数据中心能够将各类资源，如IT资源及基础设施资源，以资源池的方式呈现给运维人员及终端用户，用户不需要特别关注底层硬件差异，而是能够以统一的接口调用各类资源,获取相关服务，实现资源按需获取和按需扩容。
更进一步，数据中心还提供传感器和控件，用户能够对计算环境进行监督和优化，实现对数据中心软硬件资源的集约化管理，这就形成了数据中心即服务（DataCenterasaService，DCaaS）的运维管理理念。
在DCaaS运维管理的理念下，数据中心能效优化过程中将会更加关注能耗与性能的匹配性问题，在保证服务品质协议的基础上提升数据中心整体能效。
数据中心基础设施主要是为IT设备服务，因此IT设备节能在数据中心整体能效优化中居于核心地位，IT设备能耗与其处理负载量呈正相关，构建一套随IT负载变化的数据中心全局能效优化方案对于提升数据中心整体能效具有重要意义。
图3为数据中心全局能效优化流程图。
图3 数据中心全局能效优化流程图
IT设备节能通常可以采用DVFS技术和负载调度算法来实现，DVFS适用于低负载且时延要求较低的情形，负载调度算法的节能原理主要体现在两个方面，一是均衡各主机负载，将高负载主机上的虚拟机迁移至负载较低的主机，防止部分主机因为负载率较高而影响业务处理质量并产生局部热点，二是将低负载主机上的虚拟机集中到一起，使部分主机处于休眠或关机状态从而降低能耗。
本文通过设置三重阈值T1、T2和T3将主机分为4种类型，负载率低于T1时，为低载主机，负载率在T1和T2之间时，为轻载主机，负载率在T2和T3之间时，为适度负载主机，负载率大于T3时，为重载主机，其中0≤T1负载调度算法的优化目标即是将重载主机及低载主机上的虚拟机迁移至轻载主机上，使重载主机的负载率低于T3，低载主机虚拟机迁移完毕后即可使其休眠，降低IT设备能耗。
在负载调度算法执行过程中，阈值的确定至关重要，在数据中心运行不同时段，数据中心负载率将会有所不同，并呈现出周期性波动特征，这与数据中心本身的功能特性及其用户使用习惯有关[17]。
在开展负载调度算法之前，可以采用随机负载分配方式分配负载，并采用机器学习方式模拟和预测负载率变化趋势，数据中心整体负载率及单个物理机的负载率可以用资源利用率来表示。
在计算资源利用率之前，首先进行数学建模，用ai（1≤i≤n）表示物理机，bj（1≤j≤m）表示虚拟机，n为物理机总数，m为虚拟机总数，每个物理机i能够提供的资源集合用集合A表示，A={ai1,ai2,…,aik}，aik表示物理机i能提供的第k种不同类型资源容量，k种不同类型资源包括CPU、内存、存储及带宽等，每个虚拟机j需要的物理资源用集合B表示，B={bj1,bj2,…,bjk}，bjk表示虚拟机j需要的第k种资源容量。
（1）物理机i上第x类资源的利用率
（2）物理机i上各类资源平均利用率
（3）数据中心整体资源利用率
利用上述公式模拟并预测数据中心整体资源利用率随时间变化趋势后，可以进一步确定该调度算法的阈值，以整体利用率为中值，采用四分位定值方式确定阈值T1、T2和T3，其中T1=U/2，T2=U，T3=（1+U）/2。
在确定阈值后，即可按照相应的阈值条件进行虚拟机调度，对于重载主机，可以优先调度内存或CPU占用较少的虚拟机，内存或CPU占用较少的虚拟机迁移时间更短，这将有效防止因虚拟机迁移造成的SLA违例。
上述虚拟机调度策略能够在确保数据中心业务处理性能的基础上降低IT设备能耗，为了提升数据中心整体能效水平，还需要进一步建立供配电系统及制冷设备调度算法，在供配电设备方面，UPS虚拟运行技术能够使UPS组随IT负载变化动态调度，当IT负载降低时，维持少数UPS给负载供电，UPS虚拟运行技术可以通过机组休眠或模块休眠来实现[18]。
在制冷设备方面，则可以根据机房温湿度动态调节空调温度。
5 结束语
数据中心能耗主要由供配电系统、制冷系统及IT设备产生，其用能状况将会在很大程度上对数据中心能效产生影响，因此数据中心能效优化也可以针对这三者来展开。
在IT设备能效优化方面，可以采用DVFS技术或负载均衡调度策略；在供配电系统能效优化方面，可以根据负载动态变化来动态控制UPS电源或将高低负载迁徙到同一级电力系统；在制冷系统能效优化方面，可以通过选用适合的制冷技术、提升IT设备耐热性能、充分利用自然冷源和消除机房局部热点的方式实现。
考虑到IT设备业务负载对基础设施的能耗影响，因此也可以构建基于IT业务负载的全局能效优化策略，本文利用三重阈值对服务器进行分类，并通过负载率模拟和预测技术确定阈值，实现重载和低载主机上虚拟机的调度。
在供配电及制冷系统能效优化方面，可以采用UPS虚拟化技术及空调群控技术实现对供电及制冷系统的动态调度。
升级会员 