高性能计算系统设计方案Word文档格式.docx
《高性能计算系统设计方案Word文档格式.docx》由会员分享，可在线阅读，更多相关《高性能计算系统设计方案Word文档格式.docx（41页珍藏版）》请在冰豆网上搜索。
◆共享存并行程序
程序运行中可以有多个进程或多个线程，可以使用多个处理器进行并行计算。
但这种并行程序不能在分布式存的机群系统上运行。
◆消息传递并行程序
消息传递式并行程序可以在所有架构的计算机上运行，可以同时使用数目很多的处理器，以加速程序的运行。
在高性能集群系统上，各种程序都可以运行，可以使用集群系统的一个CPU，一个节点或多个节点。
1.1.3互连网络
高性能计算系统的互连网络包括计算网络，数据IO网络，管理监控网络等。
对于并行程序来说，进程之间的通信量也有着显著差别。
对于进程间通信量较小的程序来说，使用高性价比的千兆以太网就可以满足需求。
对于通信密集型的并行程序，多个进程之间数据交换频繁，对互连网络的性能要求很高，要求具有较高的带宽和很低的延迟，千兆以太网就不能很好满足要求，需要使用高速网络，如Infiniband，其单向带宽达到20Gb，延迟小于2微秒。
从2010TOP500排行榜中我们可以看到，千兆以太网和Infiniband网成为高性能计算机网络互联的主流，尤其从性能份额上来说，Infiniband网更是占据了绝大部分的份额，所以在国际主流的较大系统中，Infiniband计算网逐渐成为主流。
高性能网络的基本性能如下
我们可以看到，对于千兆以太网，带宽达到112MB/s，延时非常高，达到47.57us。
而使用万兆以太网，虽然带宽和延时均有显著提高，但是与Infiniband网相比，还是有较大差距。
万兆以太网使用TCP/IP协议，带宽达到770MB，延时约为12us，使用Iwarp的RDMA协议，性能有一定提升，带宽达到1046MB/s,延时达到7.68us。
对于Infiniband网，DDR和QDR的带宽有较大差距，但是延时比较接近，分别为1.6us和1.3us。
值得注意的是，QDR的IPoverIB的性能有了大幅的提升。
1.1.4操作系统
高性能计算的操作系统由最初的Unix操作系统为主，目前随着集群架构的逐渐广泛和Linux操作系统的逐渐成熟，Linux操作系统逐渐成为高性能计算机的主流，占到80%以上的市场份额。
为了使得集群系统有较好的兼容性，可以配置多种操作系统，如Linux（Redhat,Suse）,WindowsHPCserver等.
第2章系统方案设计
2.1方案总体设计
2.1.1系统配置表
序号
名称
技术规格
单位
数量
1
硬件部分
1.1
计算子系统
刀片平台
TC4600
标准19英寸5U机架式刀片机箱、可以支持14个计算刀片；
1*管理模块，集成远程KVM和远程虚拟媒体；
2*千兆网络交换模块，提供6个RJ45千兆接口；
4*冗余热插拔散热模块；
4*2000W电源（3+1冗余热拔插）；
台
5
计算刀片
CB60-G15带FDR计算刀片
2*Intel
Xeon
E5-2660八核处器
（2.2GHz）；
8*8GB
DDR3
1333MHz；
1*300G2.5寸10000转SAS硬盘；
1*56Gb
Infiniband
接口；
2*1000M以太网接口；
片
63
管理/登录节点
曙光I620r-G10
2U机架式；
2×
Intel
8×
4GB
1×
300G2.5寸10000转SAS硬盘；
56Gb
1000M以太网接口；
1*冗余电源；
1*超薄DVD-RW；
1*上架导轨；
2
1.2
存储子系统
存储系统
曙光DS600-G10双控FC
3U,16盘位,双控制器，4个8Gb/sFC+8个1GbISCSI主机通道,双锂电池，2*2GBCache；
冗余电源；
含4个SFP（8Gb）；
Cache容量可升级为2*16GB；
600G15000转6GbSAS硬盘*16块
套
1.3
网络子系统
计算网络
IB交换机
FDRInfiniband交换机，36端口
Infiniband线缆
MXMC2207310-00556GBQSFPFDR5MIB光缆
根
65
管理网络
千兆交换机
48端口交换机，10/100/1000baseT铜接口
防火墙
集群安全模块
TLFW-1000T龙芯防火墙标配6个千兆电口，1U机架。
并发连接数120万，吞吐量1G，支持SSLVPN隧道数300配合Nikey智能密钥*10：
曙光精心打造的USBKey解决方案，置8位国产安全芯片，自主开发COS。
硬件实现数字签名，私钥永不出Key。
1.4
机柜子系统
机柜系统
曙光天潮标准机柜
标配2个PDU、双侧门，无电源箱，无监控液晶触摸一体机
个
3
曙光天潮标准电源箱
380V无监控电源箱
监控系统
曙光智能机柜监控系统
支持四台机柜温湿度远程监控
曙光集群监控中心
监控液晶触摸一体机，含LCD、触摸屏、监控主机各1套，安装在机柜前面板门上
控制台
曙光集群控制台
1U手动伸缩控制台（曙光17”液晶显示器、鼠标、键盘、8口切换器等）
视频切换系统
SKVM
SKVMIVOverIP（包含键盘鼠标）
CIM
KVM节点控制模块
7
软件部分
操作系统
Linux
SuSE
Linux
企业版
集群管理系统
曙光GridView2.5
GridViewHPC版，支持系统部署、系统监控、集群管理、数据报表、统一告警、作业调度。
basicportal,包含serial和mpi，支持互动作业，作业故障自动切换重启，文件传输，查看修改文件操作。
GridviewClusQuota集群配额系统，可支持用户机时配额管理，充值计费管理，用户信用管理等功能。
（可选）
应用门户系统
曙光GridviewClusportal系统
包含Fluent软件作业调度
应用开发环境
编译器
GNU
编译器，支持C/C++
Fortran77/90
Intel编译器，支持C/C++Fortran
数学库
MKL，BLAS、LAPACK、ScaLAPACK、FFTW
MPI并行环境
OpenMPI（支持Infiniband和以太网的MPI环境）
MPICH2（支持千兆以太网的MPI环境）
2.1.2系统拓扑图
2.1.3系统方案说明
◆计算系统CPU整体峰值性能达到17.7万亿次，可以扩展到500万亿次；
◆主要产品都采用了冗余设计（电源、风扇等），存储系统采用冗余设计，系统的可靠性有较高保证；
◆系统功耗（不含空调制冷系统）不超过为,150千瓦，电费可按此核算；
◆曙光公司将为用户提供完善的服务，包括安装调试、系统优化、用户培训等，这些都不单独收费，用户不必考虑这些方面的费用；
◆曙光公司提供5年免费上门服务，极大降低了用户的运行维护费用；
◆曙光公司是领先的专业高性能机算机及方案提供商，拥有较多的成功案例，包括百万亿次超级机算机的成功案例，产品的可靠性和稳定性得到了充分验证。
2.1.4需求相应分析
●先进性
本系统中，我们使用的刀片集群架构，为目前高性能发展的先进趋势。
使用的最新一代IntelE5-2600处理器，为目前性能最高的X86处理器。
使用的FDR网络，也为目前最为先进的网络技术。
同时，系统中使用的并行文件系统、自动功耗管理系统和HPC应用WEBpotal，均代表着HPC的先进的发展方向。
●高可靠、高可用需求
系统采用刀片服务器，冗余电源，双控制器存储系统、高级别RAID系统，以及关键节点的HA双机，同时，高效管理监控系统也是保证系统高可靠、高可用的保证。
●适合用户应用软件需求
用户应用软件众多，用户众多，对计算需求大，系统共配置101TFLOPS的计算能力。
针对部分应用对节点间网络需求高，配置了高带宽，低延时的FDRInfiniband网。
带宽达到56Gbps，延时小于1us。
同时，海量计算时的IO并发读写量巨大，对存储的容量和性能需求惊人，系统配置了并行存储系统，能够实现所有存储的统一地址和并发读写。
●易使用需求
系统配置了HPCWEBPortal，可以有效降低用户使用难度。
同时，针对系统和应用的专业培训，也能提高使用人员的使用水平。
针对应用软件的安装调试也大大降低了用户的使用难度。
●可扩展性需求
集群的架构可以保证计算系统的良好扩展，同时，并行存储的架构也实现对存储系统的扩展。
●易管理维护需求
配置高效管理系统，支持监控、告警、管理、报表等多项功能，解决管理员的后顾之忧，同时，对管理员的培训和对系统的运维支持，也能有效提高系统的管理水平。
●节能环保需求
配置了刀片系统和高效节能系统，支持空载节点的自动待机，能够有效降低能耗，帮助用户节省运维成本。
2.2计算系统
2.2.1刀片集群
系统共配置63个双路8核刀片服务器，主频2.2Ghz，双精度峰值接近17万亿次。
目前，开放的集群（Cluster）系统具有较多的优势，已经占据了目前高性能计算机的主流位置，在TOP500中占据了80%以上的份额，在中小规模的高性能计算系统中更是占据统治地位。
刀片式集群系统在计算密度、功耗散热、运营成本、维护成本、可靠性等方面，都明显优于其它系统，且为系统的扩容升级提供了良好的基础，刀片系统的优势主要体现在以下几个方面。
⏹计算密度更高
提高计算密度是刀片服务器发展的主要动力之一。
对于大规模并行计算机来说，提高计算密度尤其重要，刀片式集群系统有效提高了计算密度。
⏹机房要求降低
大规模高性能计算机将对机房空间提出较高的要求，并且要为系统的扩容升级留下空间。
刀片式集群系统实现了较高的计算密度，并且有效降低了系统功耗，对系统空调
升级会员 