景行资源管理调度WEB页面使用方式.docx
《景行资源管理调度WEB页面使用方式.docx》由会员分享，可在线阅读，更多相关《景行资源管理调度WEB页面使用方式.docx（59页珍藏版）》请在冰豆网上搜索。
景行资源管理调度WEB页面使用方式
西北农林科技大学
高性能计算平台用户使用手册
北京景行锐创软件有限公司
时间：
2015-11-18
联系人：
刘炜、周兆永
电话：
87082236
第一章高算平台介绍
高性能计算平台有106台计算节点、2台胖节点、1台GPU节点组成，外加1PB的数据存储。
各个服务器的配置信息如下：
服务器
Cpu
内存
计算节点
2颗IntelXeonE5-2680V3
总共24核，2.5GHZ
64GBDDR42133ECC内存
胖节点
4颗IntelXeonE7-4850V3供56核，2.2GHZ
1024GBDDR42133ECC内存
GPU节点
2颗IntelXeonE5-2640v3共16核，2.6GHZ
64GBDDR42133ECC内存
第二章命令行使用方式
2.1.编译的登陆方式
2.1.1Windows用户访问方式：
可以通过第三方工具（xshell、putty等）登陆高算平台，xshell的登陆方式如下图所示：
输入用户名密码直接登陆：
2.1.2Linux和mac的登陆方式：
直接在terminal终端上输入：
sshusername@172.16.112.106输入密码登陆。
2.2.数据上传方式
可以通过ftp和第三方工具winscp或者sftp的方式登陆。
2.3.景行资源管理与调度软件简单介绍
云计算资源管理：
景行资源管理与调度软件可以将网络上的多个异构的计算机、集群资源整合为一个应用服务平台。
应用程序不再局限于个人工作站的资源，也不需要为了使用应用服务平台的资源而改动程序，只需要一些简单的脚本和命令就能使应用程序使用到应用服务平台上的计算资源。
并且景行资源管理与调度软件还可以根据主机的负载条件和应用程序的资源需求在整个应用服务平台中选择最合适的计算资源。
景行资源管理与调度软件不仅可以管理物理计算资源，还可以通过与虚拟机管理系统集成管理主流的虚拟机计算资源（VMware、XEN和KVM等）。
这些虚拟计算资源在启动时自动加入景行资源管理与调度软件应用服务平台，停止后自动退出平台。
执行作业：
对于景行资源管理与调度软件管理的应用服务系统，远程执行作业的行为和在本机上执行作业是一样的。
对于用户而言是透明的，即使是复杂的终端交互控制作业，也好像作业是在本地执行似的。
当作业获得所需要的软硬件资源或应用服务系统负载较轻时，景行资源管理与调度软件会根据策略自动执行作业。
在应用服务系统中，景行资源管理与调度软件对作业的可以进行完全控制，可以根据资源负载情况将作业挂起和恢复执行。
景行资源管理与调度软件可以以交互式作业或批处理作业的形式执行串行的或并行的应用程序。
当作业在一组负载较轻或空闲的资源上执行时，作业的执行效率会大大提高。
管理应用：
对于景行资源管理与调度软件管理的应用服务系统，用户可以运行本地工作站上没有的软件。
例如，可以在配置较低的桌面机上运行只能在高端服务器上才有的CAD工具。
作业实际运行在后台高端服务器上，但其执行过程和结果完全透明地展示在桌面机上。
控制系统资源的访问：
对于景行资源管理与调度软件管理的应用服务系统，系统管理员可以轻易地控制资源的访问，例如：
●谁可以提交作业，这些作业可以使用哪些主机；
●某个用户或者某个用户组最多可以同时执行多少个作业，最多可以使用多少计算资源；
●提交到指定队列的作业的资源限制；
●每个计算单元可执行作业的时间窗口；
●在某种负载条件下指定的计算单元可以接收作业或者挂起一些低优先级的作业。
资源和作业记账：
景行资源管理与调度软件提供了资源和作业记账的机制。
这些信息可以帮助管理员清晰的描绘出资源的使用情况，以及系统在一天或者一周内的负载情况，同时帮助管理员确定是否有资源过载情况发生，为系统扩展或者升级提供详尽的数据支持。
应用：
绝大多数应用可以通过景行资源管理与调度软件的接口访问景行资源管理与调度软件管理的应用服务系统。
并且绝大多数应用不需要直接和景行资源管理与调度软件交互，也不需要为了使用景行资源管理与调度软件管理的应用服务器系统而修改程序。
几乎所有的Linux/Unix或者Windows的命令和第三方应用程序都可以使用景行资源管理与调度软件管理的应用服务系统。
容错：
一旦有计算请求，景行资源管理与调度软件通过高效的策略寻找计算资源，并保证计算请求被派发并且执行。
只要在应用服务系统中还有一个服务器在运行，景行资源管理与调度软件就能继续接收计算请求。
如果计算请求执行失败，景行资源管理与调度软件会把计算请求重新派发到另一个满足资源需求的可用服务器上执行。
景行资源管理与调度软件将整个应用服务系统的状态保存在文件数据库中。
只要该事务文件可访问，景行资源管理与调度软件保证执行所有的计算请求。
还可以为该事务文件设置镜像备份，以保证当主文件服务器停止工作时，景行资源管理与调度软件可以根据镜像的事务文件执行操作，从而提供了额外的容错能力。
异构系统的支持：
景行资源管理与调度软件是架构在操作系统之上的中间件。
其架构使得景行资源管理与调度软件非常容易支持不同的操作系统。
景行资源管理与调度软件不仅仅支持Unix、Linux和Windows，还支持Unix/Linux和Windows之间的互操作。
检查点和迁移：
景行资源管理与调度软件支持所有提供内核级检查点的操作系统。
这种方法对应用程序是透明的，应用程序不需要改变任何代码或重新与检查点的函数库进行链接。
对于那些没有内核级检查点的操作系统，景行资源管理与调度软件提供用户级的检查点函数库供应用程序使用。
景行资源管理与调度软件拥有开放的检查点接口，可以支持任何类型的检查点功能（应用，用户或者系统级别的）。
一旦作业被设置检查点，它就能够在线地被迁移到其他计算资源上，比如计算能力较高的计算资源。
并行处理：
景行资源管理与调度软件支持PVM（ParallelVirtualMachine）和MPI（MessagePassingInterface）。
景行资源管理与调度软件是资源的分配者和管理者，为每个并行模块找到最佳的主机。
调度策略：
景行资源管理与调度软件提供了高效的调度策略来管理应用服务系统。
用户可以根据不同的需要使用不同的策略，例如可以在队列级别设置公平共享策略来管理对计算资源的需求冲突。
景行资源管理与调度软件还有许多其它队列级别的策略，如基本的先来先服务、抢占式和独占式等等。
其中在景行资源管理与调度软件3.0中还提供了虚拟机调度策略以及基于数据库开放的调度框架。
资源预留：
某个作业或者队列强制预留资源。
资源预留保证了正在运行的作业有足够的资源可用（在作业执行时它的资源需求会发生变化，使用资源预留可减轻作业需求资源不够的问题）。
作业记账：
应用服务系统记录作业的大量信息，比如说：
●提交节点和执行节点；
●提交、派发、执行和结束时间；
●执行作业的资源开销；
●CPU时间、作业整体周转时间和自然时间等；
所有这些数据都存储在一个作业记账文件中。
作业数组：
作业数组延伸了作业的概念。
作业从一个单输入文件、单例执行的应用程序延伸为多输入文件、多例执行的应用程序。
许多现实世界的问题，如渲染一个动画场景或者在数据转换时，都需要输入不同的数据来多次执行同一应用程序。
使用景行资源管理与调度软件的作业数组允许用户提交单个作业，而该作业可以使用不同的输入数据来多次执行一个应用程序。
交互式作业：
交互式作业允许景行资源管理与调度软件管理员使用后台作业的策略来使用交互式命令。
典型的后台作业会将stdin/stdout/stderr重定向到文件中，而交互式作业则将stdin/stdout/stderr重定向到终端会话中。
可扩展性：
景行资源管理与调度软件具有很强的可扩展性，它的单个应用集群可以支持多达1000个节点。
景行资源管理与调度软件的可扩展性包含以下三方面：
●一个集群中的节点数可以达到1000个以上
●单个并行作业可以使用2048个核
●作业吞吐量，每天可以处理5万个作业
共享资源：
共享资源是指景行资源管理与调度软件管理集群中所有节点上的可用资源。
共享资源是一种在集群中所有机器上或者某一些机器上可用的资源，而且这些资源可以在机器组之间共享。
应用软件的浮动许可证是共享资源的一个典型应用。
浮动许可证是一种网络上的共享资源，任何安装有该软件的机器都可以申请一个许可证来执行该软件。
景行资源管理与调度软件可以保证在作业派发到执行节点时该作业可以获得许可证，从而使得该浮动许可证资源得到最大化的利用。
并行作业的处理器预留：
在同一个景行资源管理与调度软件集群中执行并行应用和普通应用程序时，因为普通作业只需要一个CPU而并行程序需要等待多个空闲的CPU，所以并行程序所需要的CPU总被普通应用程序先占用。
并行作业处理器预留功能则允许并行作业在排队期间将空闲的处理器（作业slots）预留一段时间而不被其它的作业使用。
JobStarter：
每一个景行资源管理与调度软件队列都可以配置一个JobStarter。
JobStarter是一个脚本或者是可执行程序，用来创建作业执行的环境。
通过JobStarter，景行资源管理与调度软件管理员可以自定义作业执行的环境。
例如：
●配置输入/输出缓存和重定向
●在Fluent环境下执行作业
可配置的作业控制方式：
景行资源管理与调度软件的作业控制改变作业在系统中的状态。
通常情况下，作业先进入PEND状态，然后进入RUN状态，完成后显示DONE状态。
有时在作业的生命周期内，作业被系统挂起进入SSUSP状态，或者被用户挂起而进入USUSP状态。
景行资源管理与调度软件提供给管理员配置作业控制时所触发的动作，当作业改变状态时，这些自定义的触发动作将被执行。
CPUBinding：
景行资源管理与调度软件3.0提供了CPUbinding的功能。
旨在增加CPU缓存的命中率，并且适合time-sensitive应用。
CPU之间是不能共享缓存的，在作业调度过程中，会出现多个进程在各个CPU间频繁切换，需要不断的使旧CPU的Cache失效。
如果进程只在某个CPU上执行，则不会出现失效的情况。
在多个线程操作相同数据的情况下，如果把这些线程调度到一个处理器上，大大地增加了CPU缓存的命中率。
在real-time或time-sensitive应用中，可以将系统进程绑定到某些CPU上，把应用进程绑定到剩余的CPU上，合理使用CPU资源。
CPUbinding功能增强了景行资源管理与调度软件对CPU资源的管理能力和合理利用能力。
UserMapping：
景行资源管理与调度软件3.1及以上版本支持该功能。
景行资源管理与调度软件提供作业的提交和执行等一系列操作，但是这些作业只能在存在该作业提交用户的节点上执行，如果不存在提交作业的用户，这个作业就不能正常执行。
目前景行资源管理与调度软件可以使用多个用户提交作业到Windows节点，指定作业在Windows节点上运行时的执行用户EXEC_USER。
用户通过设置环境变量WIN_USER_MAPPING=username，从而mapping到Windows上存在的用户。
现在只对执行在Windows上的作业实现usermapping的功能，非Windows节点的作业mapping不起作用。
基于数据库的调度框架：
景行资源管理与调度软件提供了开放的基于数据库的调度框架。
用户可以根据该框架的要求，定义设置调度策略，从而更高效地利用集群的资源，实现对调度策略的深度定制。
虚拟机调度：
景行资源管理与调度软件提供了虚拟机调度功能，主要是为了解决用户集群环境中Windows节点过少，Windows资源不能满足大量Windows应用执行的问题。
通过在KVM服务器节点上创建Windows虚拟机，在Windows应用作业调度的时候，将在KVM服务器上启动适
升级会员 