Clussoft高性能软件使用手册.docx

资源描述

Clussoft高性能软件使用手册.docx

《Clussoft高性能软件使用手册.docx》由会员分享，可在线阅读，更多相关《Clussoft高性能软件使用手册.docx（14页珍藏版）》请在冰豆网上搜索。

Clussoft高性能软件使用手册.docx

Clussoft高性能软件使用手册

1Clussoft简介-3-

1.1打印帮助说明-3-

1.2查看所有可用软件包-3-

1.3查看软件组-4-

2软件安装-6-

2.1基本配置-6-

2.1.1设置安装根目录-6-

2.1.2初始化集群环境-6-

2.2根目录结构说明-6-

2.3编译器安装说明-7-

2.4MPI安装说明-7-

2.5数学库安装说明-7-

2.6测试工具安装说明-8-

2.7应用软件安装说明-8-

2.8安装软件组-9-

2.9查看可用软件-10-

3软件使用说明-12-

3.1设置软件环境变量-12-

3.1.1手动加载-12-

3.1.2Moudle管理-12-

3.2clusbench使用说明-12-

3.2.1查看帮助-12-

3.2.2单机Linpack测试-13-

3.2.3整机Linpack测试-14-

3.2.4内存测试-14-

3.3appbench使用说明-15-

3.3.1查看帮助-15-

3.3.2运行lammps测试-15-

4Clussoft开发说明-18-

4.1架构说明-18-

4.2开发说明-18-

1Clussoft简介

Clussoft可以很方便的部署HPC比较流行的软件，目前该功能已集成在Gridview-3.2.*上，为了与Gridview中的统一，我们重新编写了Clussoft，使用方式上与yum比较类似，相比于上一版扩展性更强。

目前，Clussoft提供的自动化软件安装主要分为编译器、数学库、MPI、测试工具和应用软件等五大分类，为了简化安装又从上述几大类软件选取了部分软件分成Applications,base和benchmark三类软件组。

下面就最新版clussoft的使用作详细说明。

打印帮助说明

./clussoft--help#查看基本帮助信息

查看所有可用软件包

./clussoft-a

结果如下图所示：

第一列为软件名称和版本，第二列为软件分组，第三列为安装类型（share为共享安装，安装在共享目录下，如/public;distributed为分布式安装，每个节点安装一份，放在本地磁盘）。

查看软件组

Clussoft提供类似yum组安装方式，可一键完成某个组中所有软件的安装，例如，

./clussoft-L

目前，clussoft分为Applications、base和benchmark三个分组，Applications包含常用应用软件，例如分子动力学、量子化学、开发工具和气象海洋等软件；base包含常用编译器、MPI和数学库等，benchmark包含集群性能测试工具包，如Linpack测试和应用测试。

2软件安装

基本配置

设置安装根目录

软件默认安装目录为/public/software,安装过程若要指定安装目录，可通过-d参数指定软件安装根目录路径，例如，

./clussoft-dpath-to-install/

注意：

要保留指定目录下最上级目录下的.gridview目录，切勿删除，该目录有安装软件的记录文件。

初始化集群环境

本节将要安装集群批量管理工具pssh和module，在此之前，准备待部署的集群节点列表nodelist，执行命令，

./clussoft-pnodelist

执行成功后，将会在nodelist中所含节点上部署module管理工具，方面应用程序环境变量管理。

根目录结构说明

Clussoft根据软件分类会在根目录生成相对应的次级目录，例如，根目录为/public/software，则其根目录包含以下次级文件夹，

appsbenchmarkcompilermathlibmodulesmpiprofile.d

其中，apps对应着应用软件的存储目录，benchmark对应着测试工具的存储目录，compiler为编译器安装目录，mathlib是各种数学库的安装目录，modules存储已安装应用软件的module配置文件，mpi是各种MPI实现的安装目录，profile.d包含所有已安装软件的环境变量配置文件。

编译器安装说明

Clussoft集成对Intel编译器和GNU编译器的自动化部署。

以安装Intel编译器为例，

./clussoft-iintel-2015.2.164

执行成功后，Intel编译器会安装在{根目录}/compiler/intel/composer_xe_2015.2.164/目录下，相应环境变量文件写入{根目录}/profile.d/compiler_intel-composer_xe_2015.2.164.sh。

MPI安装说明

Clussoft集成对IntelMPI,MPICH,MVAPICH,OPENMPI的自动化部署。

以安装Intel编译器编译安装OpenMPI-2.0.0为例，可执行，

./clussoft-iopenmpi-intel-2.0.0##安装Intel编译器编译的OpenMPI

安装成功后，OpenMPI会安装在{根目录}/mpi/openmpi/2.0.0/intel目录下，相应环境变量文件写入{根目录}/profile.d/mpi_openmpi-2.0.0-intel.sh。

数学库安装说明

Clussoft集成对FFTW2/3,GSL,HDF5,HDF,LAPACK,NETCDF等的自动化部署。

以安装双精度FFTW3为例，可执行，

安装成功后，FFTW3会安装在{根目录}/mathlib/fftw/3.3.4/double目录下，相应环境变量文件写入profile.d/mathlib_fftw-3.3.4-double.sh。

测试工具安装说明

Clussoft集成HPL,IMB，i7z,IOZONE,LMBENCH,MPIGRAPH,STREAM等常用测试软件的自动化部署，并集成自动化测试工具appbench和clusbench。

为方便集群性能测试和后期维护，可一键安装所有测试软件，执行

./clussoft-Ibenchmark

执行成功后，所有测试软件会安装在{根目录}/benchmark/目录下。

应用软件安装说明

Clussoft集成分子动力学、量子化学、生命科学、气象环保等开源软件，以及R,Perl和Python开发包的自动化部署，安装前需要下载指定版本的源码包，并上传到Clussoft对应软件的src目录下。

例如，预安装开源量子化学软件OpenMX,

首先，进入OpenMX官方网站http:

//www.openmx-square.org，下载openmx-3.8源码包openmx3.8.tar.gz；

其次，将源码包openmx3.8.tar.gz上传至apps/OpenMX/src/目录下；

最后，执行：

./clussoft-iOpenMX

安装成功后，软件会安装在{根目录}/apps/openmx/3.8/目录下，同时生成一个job.pbs作业提交的脚本文件。

Clussoft所支持的软件包下载地址和指定版本，可查看下表:

软件名称

下载地址

软件版本

Abinit

http:

//www.abinit.org/

abinit-7.10.4.tar.gz

CP2K

https:

//www.cp2k.org/

cp2k-2.6.1.tar.bz2

Gromacs

http:

//www.gromacs.org/

gromacs-5.1.3.tar.gz

Lammps

http:

//lammps.sandia.gov/

lammps-stable.tar.gz（lammps-14May16）

NAMD

请联系曙光工程师

NAMD_2.10_Source.tar.gz

Nwchem

请联系曙光工程师

Nwchem-6.5.tar.gz

Octopus

请联系曙光工程师

octopus-5.0.1.tar.gz

OpenMX

http:

//www.openmx-square.org

openmx3.8.tar.gz

QE（QuantumEspresso）

请联系曙光工程师

espresso-5.4.0.tar.gz

VASP

http:

//www.vasp.at/

vasp.5.4.1.tar.gz

WRF

http:

//www.wrf-model.org/index.php

wrf.3.6.1.tar.gz

ADCIRC

请联系曙光工程师

adc50_99_12.tar.gz

ARPS

http:

//www.caps.ou.edu/ARPS/

arps5.3.4.tar.gz

CMAQ

https:

//www.cmascenter.org/cmaq/

cmaq4.7.1.tar.gz

FVCOM

请联系曙光工程师

Fvcom2.7.1.tar.gz

安装软件组

Clussoft支持Applications,base和benchmark三种软件组的一键部署,以安装base为例，

./clussoft-Ibase##安装base组所有软件

执行成功后，base所包含的软件列表会根据软件分类安装在不同目录下，相应的环境变量文件安装在{根目录}/profile.d目录下。

查看可用软件

支持两种方式，查看本集群已安装的软件列表，

方法一，使用Clussoft命令，执行

./clussoft-l##查看所有已安装的软件包信息

软件包安装信息包含软件名称、分组、安装类型、安装目录、软件环境变量文件和安装用户，普通用户可查看root和本用户安装的所有软件。

方法二，使用module管理命令，执行

moduleavail

3软件使用说明

设置软件环境变量

手动加载

对于root超级用户可设置开机自动加载，即，选择{根目录}/profile.d目录下环境变量文件，将其拷到/etc/profile.d目录下；

对于普通用户，使用某个软件，临时加载环境变量，可以执行，

source{根目录}/profile.d/*.sh

也可以将上述命令，写入~/.bashrc文件内，设置为该用户默认环境变量；

Moudle管理

本节可参考module机制基本命令，即执行，manmodule查看帮助。

clusbench使用说明

clusbench是一个简单易用的集群测试工具包，集成了一些常见的高性能测试项目，比如单机Linpack、整机Linpack、Stream测试等。

clusbench会根据集群节点信息自动生成参数，通过简单几条命令就会测试出不错的Linpack结果。