最新GPU HPC集群方案Word文档格式.docx

1、它不仅是一个高速处理的计算机系统、更重要的是在其之上运行的各种应用对科学领域产生非常深远的影响。20世纪90年代中后期以来，许多高性能计算应用领域越来越多地希望利用半导体和计算机技术发展的新成果通过更大规模、更精确的数值模拟和数字计算来进行新产品设计和科学研究，提高科学研究水平、厂商市场竞争力以至国家的综合国力。另一方面，人们也要求利用工业标准芯片等开放性的技术降低投资、加速开发，在规定经费预算和时间框架内完成规模越来越大的计算任务。高性能和高经济效益相结合已经成为高性能计算领域最引人注目的发展趋势。1.1 高性能计算环境发展的趋势1.1.1 更高、更全面的性能要求高性能技术计算是利用数值模拟

2、和数字技术方法探索和预测未知世界的技术。这一技术广泛应用于核武器研究和核材料储存仿真、生物信息技术、医疗和新药研究、计算化学、GIS、CAE、全球性长期气象、天气和灾害预报、工艺过程改进和环境保护等许多领域。近年来，随着研究的深入和竞争的加剧，各个领域越来越多地使用模拟的方法来解决科研和生产中的实际问题。模拟的模型越来越大、计算的精度越来越高、对超级计算机性能要求也越来越高。例如，在一个3维模型中，如果把从每个方向取100个分点增加取到1000个分点，对计算机资源的需求将增加1000倍以上。高性能计算应用不仅规模越来越大，而且往往必须在规定的时间内完成任务否则就失去了计算的价值（如天气预报、传

3、染病防治）。这就对计算机系统的计算能力、系统带宽、内存容量、存储设备和I/O吞吐能力以及应用软件的开发技术都提出了更高、更全面的要求。 1.1.2 向通用化方向发展过去人们一般把计算机应用分为科学计算、信息处理和自动控制等类型。其中，以信息处理为主的应用统称企业应用，是市场容量最大的应用领域。早期的企业应用与高性能计算应用有很大的差别，涉及的计算比较简单、使用的数据量也不大，对计算机系统的主要要求是能够支持大量用户（包括网上用户）进行事务处理如信息输入、查询和统计等，而对于计算能力、存储容量要求也不高。因此，高性能计算应用往往使用与企业应用不同的系统，影响了产品批量的扩大。当前，人类正在从工业

4、化社会进入信息社会，技术的持续创新、市场需求的瞬息万变、竞争空间的迅速扩大，要求企业采用Internet、电子商务、电子商务企业等现代化手段，来适应时代的发展。许多新型的企业应用对计算能力、存储容量和系统带宽的要求都越来越高、越来越迫切，高性能计算 应用和其他类型应用的界限也日益淡化。当前，几乎所有应用领域都需要使用能够提供高计算能力、系统带宽和存储容量的计算机系统，促使用户选择相同的系统满足各种类型的需求，为利用大批量、低成本的通用产品满足高性能计算应用需求创造了有利的条件。1.1.3 更加严格的预算约束随着竞争的加剧和应用的普及，高性能计算不再是一个不惜工本的应用领域，许多项目的预算约束越

5、来越严格。这就要求厂商生产全系列的产品满足不同规模应用的需求、更加可靠地保护用户原有投资、加速IT投资回报，而且也要求实现资源按需供应和更大范围的资源共享，推动了网格和公用服务等新的计算模式的发展。1.1.4 使用商品化部件为了促进高性能计算广泛应用必须降低成本，否则很难为更多的用户所接受。由于高端的高性能计算系统（特别是超级计算机）需要使用许多计算节点和互联设备等部件，因此必须保持每个部件的低成本。早期的超级计算机系统使用专门定制的处理器和互联设备等部件价格非常昂贵。以后，Cray Research 公司的T3D 和 CRAY T3E 开始使用商品化的 Alpha 处理器。当前商品化处理器和

6、服务器性能日益提高、价格也日趋下降，为利用它们建立高端和超级计算机系统提供了良好的基础。为此，美国政府还推出了ASCI 计划，力图降低超级计算机系统的成本，其主要途径是尽可能采用商品化市售（COTS）硬件和软件部件，把力量集中在发展主流计算机工业不能有效地提供的专门技术。目前已经很少再有厂商使用专门的部件如向量处理器来建立超级计算机系统。今后的发展趋势是在高端和超级计算机系统中尽可能普遍地采用商品化和大批量的工业标准部件，包括处理器、互联设备、I/O、存储、操作系统、语言、编译程序、编程工具和应用软件。人们注意到，基于开放性IA32体系结构的Xeon和Pentium 4处理器的超级计算机已经在

7、TOP500占有重要地位。新兴的Itanium处理器系列（IPF）必将以其开放性、大批量和64位寻址和处理能力，对超级计算机水平的提高产生划时代的影响，以远比32位体系结构时代高的性能和性价比来满足日益增长的需求。我们深信，通过采用HP的高性能计算系统 ，必将加速在高性能计算领域取得更加丰硕的科研成果。1.2 高性能计算应用的特点在传统意义上高性能计算应用是属于CPU和内存密集型的应用,它对所运行的计算机体系结构（超级计算机体系结构）提出了几个主要的要求: 浮点计算能力（尤其是64位双精度浮点运算）,内存带宽和内存容量及体系框架。所有这些因素都是相互关联的。高性能计算通常利用各种数学方程式来建

8、立模型和模拟物理现象。随着各种模型越来越大，越来越复杂，数据集的规模也急剧增长。例如，一个100*100*100的栅格包含100万个元素，该模型仅占用32MB内存，如果此栅格的分辨率提高10倍，这一模型就变为1000*1000*1000，包含10亿个元素，此模型的原始数据将占用32GB的内存！因此不论是分布式内存还是共享式内存，要将此数据传输至内存中，由CPU处理，就需要高带宽，高容量，低延迟的体系结构，当然还需要强大的CPU进行计算。而超级计算机主要用来处理这样庞大的工作负载。这样的负载所要求的超级计算机一定是采用快速的CPU，高性能的内存和I/O子系统，旨在实现最高的运算速度。同样这样的负

9、载所要求的超级计算机还必须采用多级别并行处理技术，能够利用几十个甚至几千个处理器来处理一项任务；这样的并行处理技术也需要超级计算机要采用高性能的互连设备和系统设计，以较高的成本去换取最高的性能。1.3 高性能计算主机性能评价体系衡量主机系统或处理器计算处理能力的测试体系（BenchMark）也有多种，如SPEC、Linpack等, 尤其是通过Linpack值更可以衡量一个主机系统或一个处理器芯片的实际运算能力, 而不仅仅是虚的理论峰值能力。 过去，人们使用系统能够达到的执行指令最大速率如每秒执行百万指令数/浮点操作数（MIPS/MFLOPS）来量度计算机硬件性能。但是，这些量度指标的实用价值十

10、分有限，它们只能给出理论上最大的性能，并没有全面反映计算机系统的实际性能如内存带宽、内存延迟和I/O性能等。此外，硬件性能量度和系统体系结构都是非标准的，使得人们很难使用它们作为服务器选型的性能指标。因此，出现了计算机系统性能基准测试的概念，即由某些中立的非盈利机构开发出一组经过精心统筹设计和组合的程序，来量度计算机系统运行这组程序的性能指标。此类程序一般称为基准测试程序。不同的计算机系统都运行同一组基准测试程序，就可以相对客观地比较计算机系统的性能。目前有许多专门设计基准测试程序和管理各种计算机系统基准测试指标的机构，其中最著名的是SPEC和TPC。 第二章 设计方案2.1系统设计原则帮助用

11、户建立一套既能最大限度地满足用户实际需要且技术又处于领先地位的高性能计算环境是我公司为高性能计算用户设计方案的基本出发点。我们认为，中国XXXX大脑初级视觉系统仿真平台系统应具有处理大规模的复杂运算，尤其是浮点运算及图像处理的能力 。它将为图形化分析提供优化工程设计、分析、验证的手段，最终实现提高设计质量、缩短计算周期、降低开发成本。方案设计以用户现场测试结果为基础，根据XXXX对未来应用模式及业务量需求预测为前提，强调高性能以及可行、合理和低风险。架构设计和系统选型遵循以下原则：1先进性本系统方案所采用的技术既要符合业界的发展方向,又要在未来几年内仍具有很高的技术先进性，保持在同类系统中的领

12、先地位。这样有利于提高整个系统的计算与处理能力 。2. 有限投资获取最大计算性能在有限的投资前提下，高性能计算系统应具有优秀的处理能力，它不仅具有符合要求的峰值性能 （Peak Performance）， 更重要的是应具有稳定的应用性能（sustained performance） 。各种复杂的研究课题在本系统中能够得到准确，快速的计算结果 。3. 可扩展性 系统应具有很强的扩展能力 。 随着对计算机系统性能的要求不断提高， 该计算机系统应具有扩展能力， 并且容易实现 。4. 开放性和兼容性本计算机系统应符合公认的工业标准， 包括体系结构，硬件，I/O, 网络，操作系统，开发环境和开发工具等

13、。这样，便于和其他平台上的系统互操作 。5应用软件丰富本系统的平台上应具有丰富的软件资源， 能够提供研究课题的解决方案和相应的软件系统 。我公司与高性能计算方面的独立软件开发商紧密合作，例如：Fluent,ANSYS等专业工程软件商,Red Hat,Etnus,Pallas,Platform等专业平台软件商, 不仅提供处理节点间的协调和通信的中间件，使整个系统节点能够真正实现合作，负载均衡，还能针对不同应用需求，提供一系列并行计算应用。6. 良好的技术支持由于本系统是比较复杂的计算机环境， 在使用过程中不可避免的会遇到一些技术问题。 当遇到这些问题时能够得到有效的支持， 使问题得以圆满的解决

14、。7性能价格比优越由于本系统比较庞大，价格因素也比较重要。 本系统在性能价格比方面在同类系统中应具有明显的优势，对于三院三部来说在采购大型系统中应该考虑的重要因素。8管理简单尽量减少数据中心的设备管理难度。2.2总体方案结构针对中国XXXX大脑初级视觉系统仿真平台系统高性能计算应用的特点,结合与相关业务处室的沟通。从满足应用需求的角度出发，我们建议建立一个高可扩展、易管理的混合SMP与Cluster结构的高性能计算环境，整体方案架构如下：我们推荐采用1台宝德服务器PR4768GW作为GPU计算节点，主要运行并行计算、图形分析等应用。GPU计算节点服务器采用高性能计算操作系统环境，并运行动态资源

15、管理工具对任务的资源分配进行管理和调度。高性能计算集群配置1个管理节点及2个存储节点，并通过用户网络和管理网络进行互联。管理节点运行管理软件实现Cluster中所有节点的集中管理、配置、激活/关闭等，并通过软件对用户提交的任务进行作业管理。GPU节点服务器和集群管理节点通过1000Base-T千兆以太网连接到三部的骨干网中，各室工作组通过该网络申请计算资源和提交任务。GPU节点服务器和存储节点可通过扩展的IB光纤通道卡连接到SAN中，满足高性能计算环境对存储性能和空间的巨大需求。2.3 计算服务器方案2.3.1 GPU计算节点服务器型号及配置根据以上分析，我们配置两台宝德PR4768GW作为GPU计算节点服务器。宝德PR4768GW具有两颗E5-2690V3 12核CPU，256GBDDR4内存和8块NVIDIA TESLA K80 GPU加速卡，非常适合做高性能