pbs作业管理系统--曙光_精品文档.ppt

pbs作业管理系统--曙光_精品文档.ppt

《pbs作业管理系统--曙光_精品文档.ppt》由会员分享，可在线阅读，更多相关《pbs作业管理系统--曙光_精品文档.ppt（53页珍藏版）》请在冰豆网上搜索。

PBS作业管理系统内内容容任务管理系统概述PBS作业调度系统作业调度系统的使用2022/10/312任务管理系统的功能任务管理系统的功能单一系统映象机群松散的结构的整合系统资源整合异构系统的整合多用户的管理用户提交的任务的统一安排，避免冲突用户权限的管理非授权用户的控制2022/10/313任务管理系统的简史任务管理系统的简史2022/10/314任务管理系统的分类任务管理系统的分类基于进程级别的调度由机群中的操作系统或者运行时Runtime内部支持，对运行的作业进行监控；以实现机群内的透明调度、以及自动优化进程的分配和平衡负载基于作业级别的调度这种方式由独立的作业管理系统实现。

该系统通过专门的入口，接收用户提交的任务，送入相应的队列等待调度；并在适当的时机分配资源，为任务创建作业，将作业提入运行，在作业运行结束后完成收尾工作，并提供记帐功能。

管理员和用户还可以在机群中查询并预订符合要求的资源，从而实现对作业和资源的全程交互控制。

2022/10/315任务管理系统的比较任务管理系统的比较管理管理实现级别进程程级作作业级调度方式透明，基于最小负载可以基于网络拓扑/程序特性/负载/自定义策略调度管理层次低级，仅根据局部信息高级，根据全局信息负载均衡方式支持动态负载均衡支持静态负载均衡；如有checkpoint功能，可支持动态负载均衡资源共享仅能够共享硬件资源可以共享硬件、软件和证书等资源服务质量Qos可能造成大作业饥饿，无Qos只要策略适当，可以保证Qos机群一致性的层次入口不一致，仍为多机系统；可以提供存储一致性提供单一系统入口和存储一致性对用户权限、资源和作业的高级管理策略无法实现能够很好地实现系统结构规模可扩展如果规模过大，会遇到前述的O（）的通讯问题，难以扩展通讯量与系统规模成线形放缩，可以很好的扩展对作业类型的限制如前述，不适合于系统调用较多的程序（如I/O密集型）对程序类型无限制2022/10/316内内容容任务管理系统概述PBS作业调度系统作业调度系统的使用2022/10/317PBS作业调度系统作业调度系统PBS最初由NASA的Ames研究中心开发，为了提供一个能满足异构计算网络需要的软件包。

它力求提供对批处理的初始化和调度执行的控制，允许作业在不同主机间的路由。

2022/10/318PBS的技术特色的技术特色力求控制对批处理的初始化和调度执行，对批处理的初始化和调度执行，允许作业在不同主机间在不同主机间的路由。

的路由。

独立的调度模块独立的调度模块存有各个可用的排队作业、运行作业和系统资源使用信息，并且允许系统管理员定义资源和每个作业可使用的数量。

在作业调度策略上，PBS提供了默认的公平共享和独占公平共享和独占FIFO调度调度策略，策略，还提供了TCL、BACL、C三种过程语言和调度类，并定义了一些调度需要的函数和完整的API，方便实现新的调度策略。

实现新的调度策略。

提供文件传送，FileStage-in和和Stage-out。

满足POSIX1003.2d标准，支持作业依赖，作业依赖，和完整的安全认证。

安全认证。

提供用户映射用户映射功能，使PBS能用于用户不一致的系统中。

2022/10/319PBS的结构的结构2022/10/3110PBS的组成的组成服务器:

pbs_server调度器:

pbs_sched执行器:

pbs_mom命令行:

用户脚本，管理命令等2022/10/3111PBS的基本原理的基本原理2022/10/3112PBS的优缺点的优缺点支持系统级检查点功能（需底层操作系统支持）很好的大规模扩展性独立的调度模块*支持作业依赖符合POSIX1003.2d标准-只支持Unix类操作系统-多集群协作功能有限-不支持用户级检查点功能2022/10/3113术术语语节点节点（node）一个单一的操作系统映像，一个统一的虚拟内存映像一个或多个cpu，一个或多个IP地址的计算机系统被称之为一个节点。

通常执行主机（executionhost）也被称之为节点。

节点属性节点属性队列、服务器和节点都有与自己相关的属性，这些属性提供控制信息。

与节点相关的属性有：

状态、类型、虚拟处理器的个数、作业列表（本节点被分配给的作业）以及节点的特性。

节点特性节点特性为了提供一组节点的分配的方法，零个或者多个特性被赋给每个节点。

这个特性不过是一串对于PBS没有含义的字母和数字的组合（第一个字符必须是字母）。

2022/10/3114PBS安装安装解压源文件包解压源文件包rootnode1/public#tar-zxvfopenpbs-2.3.16.tar.gz编译设置编译设置rootnode1/public/OpenPBS_2.3.16./configure-disable-gui-set-server_home=/var/spool/pbs-enable-docs-x-libraries=/usr/X11R6/lib64其中，-x-libraries=/usr/X11R6/lib64是在X86_64（AMD64或EM64T）上安装时，需要指明系统64位库的位置。

编译安装编译安装rootnode1/public/OpenPBS_2.3.16#makerootnode1/public/OpenPBS_2.3.16#makeinstall2022/10/3115PBS在机群上安装在机群上安装由于节点系统相同，因而可以用如下SHELLscript在node2node8上安装；#!

/bin/bashforiinseq28doecho“node$i-“rshnode$i“cd/public/openpbs;makeinstall”echo“-“echo“”done2022/10/3116服务进程配置和启动文件服务进程配置和启动文件系统配置文件/etc/pbs.conf#!

/bin/shpbs_home=/var/spool/pbs指定系统的pbs的设置的目录位置pbs_exec=/usr/local指定pbs可执行程序的目录位置start_server=1start_sched=1当为1是表示守护进程启动，0为守护进程不启动start_mom=1系统启动脚本/etc/init.d/openpbsServer的系统启动脚本/etc/init.d/pbs_serverScheduler系统启动脚本/etc/init.d/pbs_schedMom系统启动脚本/etc/init.d/pbs_mom2022/10/3117Server端设置端设置初始化server:

（第一次运行或者重新配置）/usr/local/sbin/pbs_servertcreateServer配置目录/var/spool/pbs/server_priv/节点属性声明：

/var/spool/pbs/server_priv/nodesnode2R220Anp=2node3R220Anp=2node4dualcorenp=4node5dualcorenp=4node6R4280Anp=4node7R4280Anp=42022/10/3118mom端设置端设置mom配置目录：

/var/spool/pbs/mom_priv/mom配置文件：

/var/spool/pbs/mom_priv/config#MOMserverconfigurationfile#ifmorethanonevalue,separateitbycomma.#ruleisdefinedbythename$ideal_load1.5$ideal_load1.5$max_load2$max_load2#hostallowedtoconnecttoMomserveronunprivilegedport$restricted*.$restricted*.#logevent:

#0x1fflogallevents+debugevents#0x0ffjustallevents$logevent0x0ff$logevent0x0ff#hostallowedtoconnecttomomserveronprivilegedport$clienthostnode1$clienthostnode1#alarmifthescripthangortakeverylongtimetoexecute$prologalarm30$prologalarm302022/10/3119Server端的动态设置端的动态设置PBS要能正常运行还需要通过qmgr命令的server进行配置，设置一些属性。

输入qmgr命令进入配置交互命令。

下面是让PBS可以正常运行的一些步骤。

创建队列创建队列createqueuecreatequeue队列名队列名queue_type=Excuttionqueue_type=Excuttion打开和启动队列打开和启动队列setqueuesetqueue队列名队列名enable=t,started=tenable=t,started=t打开调度打开调度setserverscheduling=tsetserverscheduling=t设置默认队列设置默认队列setserverdefault_queue=setserverdefault_queue=队列名队列名2022/10/3120qmgr命令（管理员使用）命令（管理员使用）输入qmgr进入交互式模式后即可输入各种命令qmgr动作：

对象类型和操作符动作动作对象类型对象类型对象名对象名属性属性操作符操作符值（，属性值（，属性操作符操作符值）值）createcreate创建一个对象创建一个对象deletedelete删除一个对象删除一个对象setset设置对象的属性设置对象的属性unsetunset除去对象的属性除去对象的属性printprint打印对象的属性打印对象的属性listlist列出对象的属性列出对象的属性serverserver服务器服务器queuequeue队列队列nodenode节点节点2022/10/3121PBS队列设置队列设置导入server配置文件：

rootnode1root#qmgrqueue.conf配置文件例子：

createqueuedefaultcreatequeuedefaultsetqueuedefaultqueue_type=executionsetqueuedefaultqueue_type=executionsetqueuedefaultmax_running=20setqueuedefaultmax_running=20setqueuedefaultenabled=Truesetqueuedefaultenabled=Truesetqueuedefaultstarted=Truesetqueuedefaultstarted=Truesetserverscheduling=Truesetserverscheduling=Truesetservermax_user_run=20setservermax_user_run=20setserverdefault_queue=defaultsetserverdefault_queue=defaultsetserverquery_other_jobs=Truesetserverquery_other_jobs=True2022/10/3122Scheduler调度行为配置调度行为配置Scheduler的行为由配置目录下的sched_priv/sched_config文件进行控