空气动力研究与发展中心高性能计算使用手册Word格式文档下载.docx

空气动力研究与发展中心高性能计算使用手册Word格式文档下载.docx

《空气动力研究与发展中心高性能计算使用手册Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《空气动力研究与发展中心高性能计算使用手册Word格式文档下载.docx（19页珍藏版）》请在冰豆网上搜索。

第1章

本章主要内容

本章主要介绍什么是高性能计算；

中国空气动力与研究发展中心软硬件配置。

当

前，高性能技术计算科学已经成为继理论科学和实验科学之后人类进行各种科学研究的第三大支柱。

计算机技术的发展为HPC的应用提供了强大工具和物质基础，使人们有可能利用计算科学来取代、优化、深化和扩展理论科学和试验科学的研究，使许多过去不敢设想和根本不可能实现的理论研究、应用开发和科学实验在计算机系统上变为现实，许多HPC应用领域越来越多地希望利用计算机技术发展的新成果通过更大规模、更精确的数值模拟和数字计算来进行新产品设计和科学研究，提高科学研究水平、竞争力以至国家的综合国力。

另一方面，人们也要求利用工业标准芯片和Linux等开放性的技术降低投资、加速开发，在规定经费预算和时间框架内完成规模越来越大的计算任务。

高性能和高经济效益相结合已经成为HPC领域最引人注目的发展趋势。

简单的，我们可以将高性能计算系统概述为

一台完整的高性能计算机的硬件部分通常包含如下主要部件：

一台完整的高性能计算机的软件组成为：

集群硬件配置说明

当前交付实验室运行的一套宝德PowerScale8000高性能计算系统分别如下：

采用Intel最新酷睿微架构的四核7300系列Xeon高性能CPU，共1个管理服务节点和6个计算节点。

其中，本系统的所有计算节点均参与计算，管理节点（ServicesNode）作为集群登陆节点和存储节点，不参与任务运算。

硬件信息清单如下：

名称

型号

数量

配置

管理节点

PR2850Q

1

CPU：

XeonMPX73502.93GHz8ML21066MHzQuad-CoreEM64T×

4

内存：

4G×

16

硬盘：

SATAII（企业级硬盘）300G×

3

显卡：

集成ATIES1000控制器、16M显存

Raid卡：

8650,256MBCache,支持RAID0/1/5/10/50/

网卡：

集成2个Intel82563EBGigabitPlatformLAN服务器网卡，支持I/OAT技术

InfiniBandHCA卡：

MHGS18－XTC,SinglePort4XInfiniBandDDR/PCI-Ex8,LowProfileHCACard,MemoryFree×

I/O端口：

4个USB2.0；

2个串口；

键盘/鼠标接口；

2个以太网（RJ-45）接口；

1个显示接口

电源：

1200W服务器专用电源、全电压范围自适应服务器专业电源、115V/60Hz，230V/50Hz自适应，支持冗余电源

1+1冗余电源1200w

DVD-ROM*1

2*1000M

冗余风扇

导轨

1G仿真U盘（替代软驱）

计算节点

（Xeon）

6

SATAII（企业级硬盘）500G×

DVD光驱、1G仿真U盘（替代软驱）

管理交换机

H3C千兆交换机

H3C1224千兆交换机

内联网络

InfiniBand交换机

244XDDRports（20Gbps）,externallymanaged,dualPS-24

KVM

KVM控制台

8-portKVM,含17”液晶/K/M

其他

集群配套部件

19“42U/规格：

600（宽）*1000（深）

6类3m网络跳线

KVM数据线

5mm绑线

3mInfiniband网线

……

集群软件配置说明

本次提供给实验室的集群预装的软件如下：

注：

列表中软件均为x86-64Xeon版本

类别

版本

数量（套）

备注

集群OS

Redhat

5.0

2.6.9-55.0.2

集群管理软件

Rocks

5.2

作业提交系统

Torque

2.1.8

作业调度系统

Maui

3.2.6p19

C/C++编译器

IntelC/C++

10.0.026

evaluation

Fortran编译器

IntelFortran

数学库

Atlas

3.7

IntelClusterMKL

9.1

MPI

MPICH

1.2.7

OpenMPI

1.1

IntelMPILibrary

3.1

PGI编译器

PGI

7.0.7

调试软件

IntelITAC

7.0

-

...

如上列表中的软件在登陆管理节点后均能正常使用，所有软件均在管理节点和各计算节点的相同位置（目录/opt）安装，除了作业调度系统Maui只安装在管理节点的/opt目录下。

列表中软件的详细安装位置列表如下：

安装位置

/opt/torque

/opt/maui

计算节点无

/opt/intel/cce/10.0.026

X86-64

/opt/intel/fce/10.0.026

//usr/lib64

/opt/intel/cmkl/9.1/lib/em64t

/opt/mpich/gnu

Non-MPIF90

/opt/openmpi

/opt/intel/mpi/3.1/

32-bit/64-bit

/opt/pgi

/opt/intel/itac

第2章

本章着重讲解Rocks＋Redhat集群系统的安装，以及系统文件配置、用户管理等

Rocks管理节点的安装

1、准备工作：

安装系统前，请将所有节点（管理和计算）的BIOS里IntelEIST功能关闭，Intel主板的具体步骤如下：

BIOS->

“Advanced”->

“Processor”->

“EnhancedIntel（R）SpeedstepTechnology（EIST）”,设置成“Disabled”。

保存，重新启动系统。

2、安装过程

1、放入RocksDVD光盘，如果是VCD光盘，请将Kernel光盘放入光驱。

系统通过光驱引导进入如下界面。

安装管理节点时，如需加载RAID等驱动，在光盘引导时，输入builddd，否则只输入build。

2、进入安装界面，鼠标点红框按钮，添加需要安装的软件。

如果是DVD光盘会出现光盘中所有软件的列表，如果是VCD光盘，要把所有Rocks光盘都放入光驱选择一遍，重复上一步的操作，如下图所示。

在所有软件都选择后，如下图所示，请确认所需安装光盘Rocks、Redhat、驱动版本和数量符合要求。

如没有采购Infiniband设备时，管理节点安装如下Rolls：

area51

base

bio

ganglia

hpc

intel-developer

java

kernel

pgi

torque（单独放光盘）

totalview

web-server

os

（os这项放RHEL5.2x86_64的光盘，则变成Red_Hat_Enterprise_linux_Server_5）

2、有采购或指定需要InfiniBand设备时，管理节点安装如下Rolls：

mlnx_ofed

如图所示，填写如下内容

管理节点默认网络设置：

Eth0的IP地址系统默认即可；

Eth1IP：

192.168.1.100

掩码：

255.255.255.0

网关：

192.168.1.254

DNS：

202.96.134.133或当地自己的DNS服务器

设置管理员密码：

选择如图所示时间服务器。

请根据Rocks提示放入光盘。

此过程是Rocks把所有定制要求安装的软件复制到硬盘中，复制完成后，安装过程都是从硬盘读取软件，包括计算节点的网络安装，也是从此次复制的软件中安装的。

管理节点硬盘分区：

（小于2TB时）

/boot100M强制primary

/50GB强制primary

Swap4000M强制primary

/export剩余空间强制primary

当管理节点单个阵列大于2TB，请先分配1TB硬盘空间，按上面分区方式。

剩余的硬盘空间，另外做一个大分区，采用GPT，格式化成ext3备用。

系统进入自动安装过程，这个过程大约在45－60分钟左右，安装完成后重新启动系统。

设置计算节点硬盘分区

默认计算节点的分区不科学，请按如下步骤修改：

#cd/export/rocks/install/site-profiles/5.1/nodes/

#cpskeleton.xmlreplace-partition.xml

编辑replace-partition.xml

在<

main>

<

/main>

后加入

<

!

--kickstart’main’commandsgohere-->

pre>

echo"

clearpart--all--initlabel--drives=sda

part/--size50000--ondisksda

partswap--size4000--ondisksda

part/state/partition1--size1--grow--ondisksda"

>

/tmp/user_partition_info

/pre>

然后

#cd/export/rocks/install

#rockscreatedistro

至此，主机初步设置完毕，开始部署计算节点。

计算节点的安装

1、启动管理节点命令界面，输入insert-ethers，选择compute。

2、顺序启动计算节点（注意，一定要按照计划的计算节点顺序启动计算节点，每启动一个计算节点，都要进入主板BIOS里，查看IntelEIST是否关闭；

第一启动选择网络启动。

）

3、当启动一个计算节点时，管理节点会监测到有计算节点启动，insert-ethers界面会显示Rocks分配的计算节点名字，启动多少个计算节点，在insert-ethers界面就会有多少个计算节点显示出来。

4、管理节点会自动分配给计算节点IP地址，并自动向计算节点安装Rocks系统。

5、安装完所有节点后，在管理节点的insert-ethers界面下，按”F8”退出。

6、全部计算节点安装完成后，整个集群系统操作系统部分就全部安装完成了。

安装完的设置

安装完所有节点后的系统后，安装PDSH软件（Rocks5.1的版本）

pdsh-2.17-1.x86_64.rpm

pdsh-mod-machines-2.17-1.x86_64.rpm

pdsh-mod-netgroup-2.17-1.x86_64.rpm

pdsh-rcmd-exec-2.17-1.x86_64.rpm

pdsh-rcmd-ssh-2.17-1.x86_64.rpm

下载地址：

http:

//192.168.6.1/pub/pdsh/

#rpm–ivhpdsh*

#dbreportmachines>

>

/etc/machines

#pdsh–a

在pdsh>

下面执行如下命令：

（关闭自动重装功能）

pdsh>

/etc/rc.d/init.d/rocks-grubstop

/sbin/chkconfigrocks-gruboff

/sbin/chkconfig–delrocks-grub

rm–rf/etc/rc.d/init.d/rocks-grub

检查各节点内存是否正确

free-m|grepMem

检查各节点硬盘分区是否正确

df-h|grepsda1

（本资料素材和资料部分来自网络，仅供参考。

请预览后才下载，期待您的好评与关注！