高性能计算平台建设方案.docx
《高性能计算平台建设方案.docx》由会员分享，可在线阅读，更多相关《高性能计算平台建设方案.docx（24页珍藏版）》请在冰豆网上搜索。
高性能计算平台建设方案
高性能计算平台建设方案
1.验证理论、发展理论的重要工具，另一方面，它是在理论的指导下发展实用技术，直接为经济发展服务；计算科学的发展也有相当悠久的历史，只是在计算机这一强大的计算工具问世之前，计算只能利用人类的大脑和简单的工具，计算应用于科学研究有天然的局限性，限制了它作用的发挥；随着计算机技术的发展，使用科学计算这一先进的技术手段不断普及，逐渐走向成熟。
科学计算可以在很大程度上代替实验科学，并能在很多情况下，完成实验科学所无法完成的研究工作。
科学计算也直接服务于实用科技，并为理论的发展提供依据和机会。
在许多情况下，或者理论模型过于复杂甚至尚未建立，或者实验费用过于昂贵甚至不允许进行，此时计算模拟就成为求解问题的唯一或主要手段了。
目前，高性能计算已广泛应用于国民经济各领域，发挥着不可替代的重要作用：
a）基础学科中深入的知识发现，问题规模的扩大和求解精度的增加需要更高性能的计算资源。
例如，计算立体力学、计算材料学、计算电磁学。
b）多学科综合设计领域中大量多部门协同计算需要构建高性能的综合平台。
例如，汽车设计、船舶设计。
c）基于仿真的工程科学结合传统工程领域的知识技术与高性能计算，提供经济高效地设计与实践方法。
例如，基于仿真的医学实践、数字城市模拟、核电、油田仿真工具、新材料开发、碰撞仿真技术、数字风洞。
d）高性能计算提升众多行业服务、决策的时效性，提高经济效益。
例如，实时天气预报、城市交通控制、视频点播服务、动漫设计、网络游戏、基于RFID的货物跟踪、智能电子商务。
e）数据密集型应用需要高性能数据处理，以应对数据爆炸式增长带来的难题。
例如，高能物理实验数据处理、遥感数据处理、商业智能、生物信息学、RFID数据挖掘、金融业分析抵押借贷、移动电话流量分析。
1.1建设内容
高性能计算平台是面向全校提供高速计算服务的公共计算平台，主要运行科研计算任务，并且能够根据应用任务对硬件资源的不同需求，动态分配和调整平台资源，管理计算作业。
用户通过校园网或VPN远程提交计算作业、获取计算结果，并能够根据权限调整，实现权限控制，硬件细节对用户透明。
用户界面实现图形化交互窗口和SSH登陆相结合方式。
平台的主要硬件设备有：
管理节点、计算节点、存储IO节点、Infiniband交换机、高速存储、千兆以太网交换机；软件方面有：
64位Linux操作系统、并行开发环境、并行文件系统、作业调度管理系统、硬件集群管理系统等，利用高速infiniband网络互联构成计算环境，通过并行计算支撑软件和作业调度系统使它们协同工作。
平台支持同时运行Ansys、Fluent、Gauss、MaterialsStudi、ADMS、Opera、HFSS、MTSS、MAGIC、CST、Icepak等商业软件，并支持C（C++）、Fortran77/90等语言的编译和运行环境，以保证学院自编应用程序的计算求解需求。
1.2设计原则
高性能计算平台应具有处理大规模的复杂运算，尤其是浮点运算的能力。
它将为全校提供优化设计、分析、验证的手段，最终实现提高科研质量、缩短科研周期、降低科研成本。
因此，方案设计以用户现场测试结果为基础，根据用户对未来应用模式及业务量需求预测为前提，强调高性能以及可行、合理和低风险。
架构设计和系统选型遵循以下原则：
先进性
本系统方案所采用的技术既要符合业界的发展方向，又要在未来几年内仍具有很高的技术先进性，保持在同类系统中的领先地位。
这样有利于提高整个系统的计算与处理能力，保证系统的使用周期。
有限投资获取最大计算性能
在有限的投资前提下，高性能计算平台应具有优秀的处理能力，它不仅具有符合要求的峰值性能（PeakPerformance），更重要的是应具有稳定的应用性能（sustainedperformance）。
各种复杂的研究课题在本系统中能够得到准确、快速的计算结果。
可扩展性
随着对计算机系统性能的要求不断提高，高性能计算平台应具有较强的扩展能力，可以方便地实现节点增加、系统扩充和升级，以有效保护前期投入。
建议采用第三方集群管理和作业调度专业软件，集成安装与硬件设备无关，计算节点的扩展不受硬件品牌限制。
开放性和兼容性
系统应符合公认的工业标准，包括体系结构，硬件，I/O,网络，操作系统，开发环境和开发工具等。
便于和其他平台上的系统互操作。
应用开发软件丰富
本系统的平台上应具有丰富的软件资源，能够提供研究课题的解决方案和相应的软件系统。
例如高性能计算方面的开发环境和应用开发软件，linux、专业平台软件商,不仅提供处理节点间的协调和通信的中间件，使整个系统节点能够真正实现合作，负载均衡，还能针对不同应用需求，提供一系列并行计算应用。
性价比优越
本系统在性价比方面在同类系统中应具有明显的优势，能满足用户应用的同时，充分考虑后期运维费用，尽量采用绿色节能型设备，降低运维功耗，比如采用刀片式服务器。
管理简单，用户易用
尽量减少数据中心的设备管理难度，简化架构，底层硬件对用户透明，本着不改变设计师原有使用原则的基础上选择合适的软件架构，突破集中式资源部署应用难的屏障，实现应用简单易用的目的。
综上所述，本项目的建设，在遵循统一领导、统一规划、统一标准、统一组织的建设原则之下，最大程度上保证系统按照预期的目标顺利实施。
2总体架构
根据我们对学校高性能计算平台的需求调研分析，以及其它高校的高性能计算实验室的考察，结合实际应用需求、当前计算规模大小、存储需求量等一系列的因素，充分结合总体设计原则，针对学校高性能计算应用的特点，从满足应用需求的角度出发，建立一个高可扩展、易管理的Cluster高性能计算平台环境。
主要是基于计算网络、存储网络、管理网络、监控网络的一体化网络建设的高性能计算集群系统：
计算网络
采用Cluster、高速InfiniBand计算网与千兆以太管理网协同工作的架构。
计算节点采用刀片服务器。
存储网络
大部分数据都存放在FC架构存储系统中，选用低端扩展容量大的磁盘阵列，利用SAN交换机互联，通过存储I/O节点为高性能计算平台提供存储服务，便于维护、管理和备份。
管理网络
通过资源调度管理软件管理整个高性能计算平台。
用户通过网络远程访问高性能计算平台，获取高性能计算平台的计算资源进行求解运算。
监控网络
通过基于硬件设备的专业集群管理软件对硬件系统进行集中管理、配置，减轻管理维护人员的工作负担，为运维人员提供高效便捷的管理方式。
硬件部分应包括：
Ø计算节点（集群节点和小型机节点）
Ø管理节点
ØI/O节点
Ø高速互连系统
软件部分应包括：
Ø操作系统
Ø集群管理软件
Ø作业调度系统
Ø并行文件系统
Ø并行程序开发环境
Ø数学库、并行库
Ø标准应用软件
Ø客户应用软件
1.1
2.1
3高性能计算平台硬件系统
3.1
平台架构图
平台整体架构图如下：
采用32节点的Cluster高性能计算集群（每个计算节点IntelXeonX56502Processors/6Cores/24G内存），主要运行分布式计算应用，利用MPI现实并行计算，提高应用效率。
目前采用1台管理节点作为高性能计算平台的管理服务器，以后根据应用需求将管理节点增加到2台。
目前采用2台存储节点作为高性能计算平台的存储I/O节点，以后根据应用需求扩展存储I/O节点。
32节点高性能计算集群节点、2节点I/O服务器集群、1台管理节点均通过带宽20GbpsInfiniband高速网络互连。
计算集群节点通过20GbpsInfiniband网络连接I/O节点，通过I/O节点的专门并行文件系统访问存储。
I/O节点通过4Gbps光纤通道卡连接至磁盘阵列环境中，配置1台磁盘阵列（可选HPP2000G3FF或IBMDS3400），10TB可用容量，以满足高性能计算环境对存储性能和空间的巨大需求，I/O节点存储链路完全多路径融合，与磁盘阵列见无单点。
高性能计算平台全部通过管理节点上的高性能计算资源管理平台软件对用户发布使用。
管理节点通过1000Base-T千兆以太网连接到校园网络中，各院系通过该网络Web使用高性能计算平台资源，基于用户原有使用习惯的图形化交互界面，并最终通过网络可视化的查看计算过程，获得计算结果。
3.2主要设备选型
计算节点
采用32节点的刀片服务器作为计算节点（每个节点采用2ProcessorsIntelXeonX5650/6Cores/18GBmemory），Intel六核处理器在中规模的计算量上的性能相当于同主频四核CPU的1.5倍以上。
依据见Intel提供的数据分析图：
管理节点
采用1节点的机架式高端服务器（采用2ProcessorsIntelXeonX5650/6Cores/24GBmemory）作为高性能计算平台的管理节点。
存储节点
采用2节点的机架式高端服务器（采用2ProcessorsIntelXeonX5650/6Cores/36GBmemory）作为高性能计算平台的存储I/O节点。
计算网络
采用至少2台Infiniband高速网络交换机（20Gbps无阻塞）刀片机箱内置模块，作为高性能计算平台核心计算网络。
详细指标见附表说明。
3.3Cluster集群系统
Cluster采用32台刀片式服务器构成计算节点，通过2台I/O存储节点连接磁盘阵列，I/O节点部署专用并行文件系统，负责向计算节点提供共享存储服务。
管理节点部署高性能计算资源管理平台软件，利用应用虚拟化技术，实现用户通过网络对高性能平台的图形化透明使用，远程接入完全遵照用户原有软件使用方式，使用习惯。
高效、易用的提供高性能平台计算服务。
目前用户大量应用运行在Linux64平台上，为了满足当前用户应用与未来发展的需求，采用Linux并行计算集群进行Cluster的建设。
Cluster方案架构图
Cluster计算节点采用刀片服务器，节点处理器采用英特尔®至强®X5650六核核处理器（2Processors/6Cores）。
Cluster集群系统的计算理论浮点峰值为：
2.66G×4×32×2×6=4085.76Gflops=4Tflops
浮点峰值＝CPU主频×CPU核每个时钟周期执行浮点运算的次数×服务器数量×每个服务器的CPU核数。
Cluster计算集群具有以下特点和优势：
Ø具有很高的性能价格比。
采用先进的Beowulf架构，扩展性好即可扩充到几百上千个节点，从而获得很高的性能和比较低的总体成本。
Ø计算集群全部采用高速的Infiniband网络互连，具有极高的性价比。
Ø采用工业标准设备和顺应高新技术发展的趋势。
如集群并行计算技术，开放代码程序。
Ø支持Windows平台的应用，具备Linux扩展能力。
3.4计算节点
计算节点是高性能计算的核心节点，承担着计算、分析、求解的真正任务，计算节点的性能很大程度上决定整个高性能平台所具有的计算能力，根据调研的具体情况，充分考虑用户环境，采用刀片式服务器做计算节点，每节点配置2Processors/6Cores处理器，内存根据经验，每core配置2GB内存，所以为计算节点合理配置24GB内存（内存配置为3的倍数）。
特性：
Ø密集计算能力：
英特尔®至强®六核处理器配有多个RDIMM插槽、多个千兆/万兆服务器适配器，能够提供集中的计算功能和更加出色的系统扩展能力；2个英特尔至强5600系列处理器；采用高级ECC的96GBPC3-10600（DDR3-1333）寄存式RDIMM；可选择1个小外型高性能热插拔串行SCSI（SAS）硬盘。
Ø部署多样性：
嵌入式技术和2个中间件插槽让您可以在高效紧凑的外形中进行多样性部署。
可提供高速图形远程控制台功能，以及对服务器状态信息进行远程网络访问的能力；可通过管理程序安装功能、Disk-On-Key和安全特性提高设备的灵活性
3.5管理节点
管理节点用来承接外部用户接入集群系统，进行程序编译、调试、并行计算任务的分发与布署，此节点还安装有集群管理软件，做为主节点对整个集群进行管理和作业调度等工作。
目前采用一台机架式高端服务器（2Processors/6Cores/24GB内存）作为高性能计算节点的管理节点，根据今后应用需求，可再扩展一台机架式高端服务器。
3.6I/O存储节点
I/O节点用来连接后台的大容量数据存储设备，整个集群通过此节点来进行数据的大规模存取与调用。
计算节点与I/O节点之间通过InfiniBand高速网络相连，保证充足的I/O数据带宽。
目前暂时采用两台机架式高端服务器（2Processors/6Cores/36GB内存）作为高性能计算集群的I/O节点，今后根据应用需求，可逐步扩展I/O节点。
同时在I/O节点上部署并行文件系统，并发利用I/O节点对磁盘阵列进行读写操作。
3.7计算网络
Cluster高性能集群系统的计算节点全部通过高速的Infiniband互连技术实现互联，高速的Infiniband互连网络主要用于计算节点之间进行MPI通讯，交换节点应用进程信息和计算数据。
整个高性能集群的管理网络和用户网络通过千兆以太网将每个节点连接起来。
管理网络主要用于节点管理信息的传输。
存储网络采用SAN交换机和磁盘阵列，主要用于各节点与I/O节点之间的数据传输，包括应用程序和数据的装载、计算结果的保存等等。
Infiniband网络
Infiniband核心计算网络互连采用多台Infiniband交换机（带宽20Gbps），互连网络拓扑图如下：
InfiniBand对性能的影响
InifiniBand是一种用于高性能计算集群和企业级网格运算的高性能工业标准网络架构。
InfiniBand以其10-40Gbps高速带宽和低延迟的优秀性能显现出卓越的性价比。
该技术能使由低端服务器组成的集群或网格，相较于昂贵的高端服务器，以同样甚至更高的速度完成复杂的计算任务，也是实现该功能的第一种高速网络技术。
3.8管理网络
管理网络千兆以太网交换机搭建。
所有Cluster集群计算节点、I/O节点和管理节点都通过千兆以太网交换机连接起来，构成统一的IP网络环境。
3.9监控网络
通过基于硬件设备的集群管理软件对硬件系统进行集中管理、配置，减轻管理维护人员负担。
为运维人员提供高效便捷的管理方式。
3.10存储系统
高性能计算平台配置一台扩展能力至少支持48个磁盘驱动器的阵列，I/O节点可通过4Gbps光纤通道卡连接至存储环境中。
计算节点服务器通过I/O节点访问磁盘阵列，全局部署并行文件系统。
4高性能计算平台软件系统
高性能计算平台软件主要包括高性能计算资源管理平台软件、集群管理软件、并行文件系统、64位Linux操作系统、集群并行计算环境等一系列软件。
通过优化配置，合理架构，最大化软件应用性能，为客户提供一个简单，易用的高性能计算环境。
平台逻辑架构如下：
4.164位Linux操作系统
由于学校现有用户基本上熟悉Linux运行环境，对于运行在计算节点服务器（X86_64CPU架构）上的操作系统，目前选择64位Linux高级平台操作系统作为每个集群节点的操作系统。
而且，Linux操作系统的优势还体现在以下方面：
Ø开放的标准：
开放意味着创新，意味着按需订制；
Ø低成本：
软件成本/人员培训成本/移植成本/管理成本；
Ø高性能：
表现在Linux系统资源的低占用率和在高性能运算的优势；
Ø操作系统的低占用率；
ØLinux在高性能运算方面的优势；
Ø高可扩展性、可维护性。
4.2集群管理软件
为了更好地管理和监控集群系统，方便系统维护，必须配置有效、实用和友好界面的集群管理软件。
Ø集群管理实用程序可以有效地管理大量的计算节点。
带有图形用户界面（GUI），可以根据需要和集群中任意数量的节点进行定制。
借助集群管理软件，只需在单一显示屏上单击鼠标即可访问所有的计算节点控制台。
Ø通过集群管理软件，可以监控、暂停、启动、重启或关闭选定的任何节点。
还可以连接到集群中的多个节点，并通过一次键盘输入以广播的方式向其发出命令。
Ø集群管理软件具有将一个系统配置向集群中的所有计算节点传播的功能。
4.3作业调度系统
作业调度系统设计上体现如下几个原则：
Ø图形化的交互界面，采用应用虚拟化技术将仿真求解软件的使用方式完全通过网络透明的提供给用户使用，保证系统使用的易用性。
Ø最终用户和IT基础结构的复杂性相分离的原则，既简化了用户操作，又提高了用户的工作效率。
Ø系统的可扩展性原则，集群系统计算能力的扩展和设备的增减，不会影响前端用户的工作。
Ø安全性原则，保证开放条件下的系统安全性。
4.4并行文件系统
并行文件系统是一种主要用于I/O数据，面向应用提供支持的用户级文件系统，它能够有效提高数据的I/O性能和科学计算程序的计算速度。
4.5集群并行计算环境
MPICH–消息传递接口
MPI（消息传递接口）是全球工业、政府和科研部门联合推出的适合进程间进行标准消息传递的并行程序设计平台，也是目前应用最广的并行程序设计平台，几乎被所有并行计算环境（共享和分布式存储并行机、MPP、集群等）和流行的多进程操作系统所支持，基于它开发的应用程序具有良好的可移植性。
MPI的一个最成熟和最广泛使用的版本就是MPICH，它是MPI的一种具体实现，可以免费从网上下载。
MPICH的开发与MPI规范的制订是同步进行的。
因此MPICH最能反映MPI的变化和发展。
MPI程序一般被称为SPMD（SingleProgramMultipleData）程序，即相同的程序对不同的数据进行处理。
当然用MPI也可以编写出MASTER/SLAVER类的具有明显主从关系的程序。
MPI的语言绑定
由于MPI是一个库而不是一门语言，因此对MPI的使用必须和特定的语言结合起来进行。
FORTRAN是科学与工程计算的领域语言，而C又是目前使用最广泛的系统和应用程序开发的语言之一，因此对FORTRAN和C的支持是必须的。
此外，C++作为面向对象的高级语言，随着编译器效率和处理器速度的提高，它可以取得接近于C的代码效率。
面向对象的编程思想已经被广为接受，因此在MPI-2中除了和原来的FORTRAN77和C语言实现绑定之外进一步与Fortran90和C++结合起来，提供了四种不同的接口为编程者提供了更多选择的余地。
4.6标准库函数
标准库函数包括支持PORTRAN77/90和C/C++语言的数学库、并行库和相关编译器。
4.7标准应用软件
目前提出需求的应用软件：
ØFluent流体工程仿真计算软件（并行版）
ØMaterialsStudio化学、材料工业模拟软件
ØANSYS通用有限元分析软件
ØADMS环境评测模型软件
ØGauss量子化学计算软件
（注：
商业软件的费用不包含在建设经费里面）
5项目经费预算
5.1经费来源
由于本项目是学校整合资源，统一建设，共享使用的原则下立项建设，因此，其经费来自不同渠道，见下表：
序号
项目名称
预算经费
1
2
3
合计
5.2经费支出预算
序号
设备名称
描述
数量
预算
1
计算节点（刀片式服务器）
刀片机箱、刀片服务器、IB交换机和千兆以太网交换机等
32台
155万元
2
管理节点、存储I/O节点
机架式服务器
3台
15万元
3
磁盘阵列
配置24块10Krpms，6Gbps，600GBSAS硬盘
1台
20万元
4
软件及项目集成
专业集群监控软件、专业非开源作业调度软件、64位Linux操作系统、并行开发软件和函数库等，及项目集成安装、培训、售后3年服务
1套
20万元
合计
210万元
附页——高性能计算平台技术参数要求
第一部分：
计算节点刀片服务器（32片刀片）
设备
设备配置说明
数量
刀片机箱
刀片式服务器，标准机柜安装；最多支持≥10个服务器，支持不同型号刀片服务器（包括intel/AMD刀片）混插；支持刀片服务器或扩展刀片。
≥2
LCD/LED显示屏的前端控制面板；支持初始配置向导、本地服务器刀片、机箱和模块的信息以及故障检测。
配置最大冗余热插拔电源，支持N+1、N+N电源冗余模式，N≥2，支持单相/三相，电源模块满配。
配置最大冗余热插拔风扇，风扇模块满配，提高刀片性能。
支持8个互联模块托架，支持LAN/SAN连接，支持互联交换机和直通模块。
配置4XQDRInfiniband内置网络交换模块，≥10个下行链路，≥12个上行链路，所有端口支持40/20Gbs（QDR/DDR）带宽，配置相应的线缆（IB4XQDR/DDR）和配件。
配置1Gb或10Gb以太网交换机内置模块，≥4个1Gb上行链路，上行链路可堆叠，所有端口全线速。
配置相应的堆叠线缆和配件。
集成内置管理模块；可远程监控图形界面；可远程从本地光盘启动安装操作系统；集成虚拟电源、虚拟介质、虚拟KVM技术。
在网络上通过浏览器管理，可以实现对物理机的统一管理。
自动发现、更新机箱和服务器；监控设备配置和变化；监控硬件、软件运行情况。
集群计算节点
每个节点配置两颗CPUIntelXeonX5650（主频≥2.66GHz,12MBL3Cache，1333MHz前端总线）。
32
每个刀片配置DDR3-1333内存,采用RDIMM内存或FBDIMM，≥12个内存插槽；每个刀片服务器配置内存≥24GB。
每个刀片4XQDR/DDRInfiniBandConnectXIB双通道适配卡。
每个刀片配置1个146GB10KSFF2.5”SAS硬盘，能够实现在线热插拔硬盘功能。
每个刀片配置嵌入式双端口1Gb或10GbE多功能服务器网络适配器。
配置快速分发软件，可同时分发安装windows，Linux等主流操作系统。
第二部分：
管理、存储I/O节点
设备
设备配置说明
数量
管理节点
机架式服务器（带上机架导轨）。
1
节点配置两颗CPUIntelXeonX5650（主频≥2.66GHz,12MBL3Cache，1333MHz前端总线）。
配置DDR3-1333内存,采用RDIMM内存或FBDIMM，支持高级ECC，服务器配置内存≥24GB。
配置硬件SASRAID控制器，高速缓存≥512MB，带电池保护;支持硬件RAID0/1。
配置2个146GB10KSFF2.5"SAS硬盘，能够实现在线热插拔硬盘功能。
集成双端口多功能千兆服务器网络适配器卡。
配置冗余电源和风扇。
三年原厂保修。
I/O节点
机架式服务器（带上机架导轨）。
2
节点配置两颗CPUIntelXeonX5650（主频≥2.66GHz,12MBL3Cache，1333MHz前端总线）。
配置DDR3-1333内存,采用RDIMM内存或FBDIMM，服务器配置内存≥36GB。
配置硬件SASRAID控制器，高速缓存≥512MB，带电池保护;支持硬件RAID0/1。
配置2个300GB10KSFF2.5"SAS硬盘，能够实现在线热插拔硬盘功能。
集成双端口多功能千兆服务器网络适配器卡。
配置冗余电源，风扇。
配置1块Qlogic4GbHBA卡。
配置Infiniband4xQDR/DDRHCA卡。
三年原厂保修。
第三
升级会员 