第十章分布式调度PPT推荐.ppt

第十章分布式调度PPT推荐.ppt

《第十章分布式调度PPT推荐.ppt》由会员分享，可在线阅读，更多相关《第十章分布式调度PPT推荐.ppt（56页珍藏版）》请在冰豆网上搜索。

另一种目标是负载共享（loadsharing），它的目标仅仅是防止某个处理机上的负载过重。

相对来说负载共享的目标要比负载平衡的目标容易达到。

负载平衡的主要目的是提高整个系统的流量，而负载共享的主要目标是缩短特定程序的执行时间。

第十章第十章分布式调度分布式调度10.110.1调度算法概述调度算法概述v调度算法的目标和有效性评价调度算法的目标和有效性评价从调度算法的有效性来看，调度算法分为最优调度算法和次优调度算法。

为了实现最优调度算法，调度者必须获得所有进程的状态信息和系统中所有相关的可用信息。

最优性常用执行时间、资源利用率、系统流量以及这些参数的某种综合来进行评价。

一般来说最优调度是一个NP完全性问题。

所以在实际的系统中，常采用次优的调度算法。

第十章第十章分布式调度分布式调度10.110.1调度算法概述调度算法概述v调度算法的目标和有效性评价调度算法的目标和有效性评价有许多参数用于确定或测量一个调度算法的有效性：

有许多参数用于确定或测量一个调度算法的有效性：

通信代价：

使用这个参数的调度算法可能要考虑到向一个给定的节点传送或者从一个给定节点接收一个报文花费的时间，更为重要的是必须考虑到为一个进程分配一个执行地点而引起的通信代价。

执行代价：

这个参数反映的是将一个进程分配到一个指定的执行节点，在这个节点的执行环境下，执行这个程序所需的额外开销。

资源利用率：

常用来表明基于分布式系统当前各个节点的负载情况，给一个进程分配的执行节点是否是合适的。

资源利用率参数常用负载状态来表示，常用的负载参数有资源的队列长度、内存的使用等等。

第十章第十章分布式调度分布式调度10.110.1调度算法概述调度算法概述v调度算法的目标和有效性评价调度算法的目标和有效性评价次优的调度算法分为两类：

近似的次优调度算法和启发式的次次优的调度算法分为两类：

近似的次优调度算法和启发式的次优调度算法：

优调度算法：

近似的次优调度常和最优调度使用相同的算法，但是近似的次优调度不搜索这个算法的所有解空间，而是在这个算法的解空间中的一个子集中搜索，目的是尽快地找到一个较好的解。

而最优调度则是搜索这个算法的整个解空间，目的是获得最好的解。

使用近似的次优调度算法必须能够判定所得到的解是否是可以被接受的，也就是说，必须能够确定最优解和次优解之间的近似程度。

启发式的次优调度算法常使用比较简明的规则和一些直觉的规则来进行调度。

这些启发式的规则往往是不能证明其正确性，在特定情况下可能还是错误的，但是在绝大多数的情况下是能够被接受的。

第十章第十章分布式调度分布式调度10.110.1调度算法概述调度算法概述v调度算法的目标和有效性评价调度算法的目标和有效性评价启发式调度算法中常采用的一些启发式规则：

启发式调度算法中常采用的一些启发式规则：

相互依赖性较大的进程，由于它们之间常有比较多的进程通信应该分配到比较接近的执行节点上，可能的话，应该在同一个节点上。

访问共享文件的进程应该分配到比较接近的执行节点上，可能的话，应该分配在文件服务员节点上。

很少有内在关系的进程可以分布在不同的机器上。

如果一个节点已经是重负载的，不应该向该节点分配另外一个进程。

第十章第十章分布式调度分布式调度10.210.2静态调度静态调度设计调度策略时要考虑的三个主要因素：

设计调度策略时要考虑的三个主要因素：

静态调度算法的目标是调度一个任务集合，使它们在各个目标节点上有最短的执行时间。

总体上来说，设计调度策略时要考虑的三个主要因素是处理机的互连、任务的划分和任务的分配。

通常用图模型表示任务和处理机的结构。

我们可以用任务优先图和任务交互作用图对任务集合建模。

任务优先图任务优先图是一个有向无环图（DAG），图中每个链接定义了任务间的优先关系，节点和链接上的标记表示任务的执行时间和任务完成后启动后续任务所需的时间间隔。

任务交互作用图任务交互作用图中，链接定义了两个任务间的相互关系，每个链接赋予一对数，分别表示这两个任务在同一个处理机上时的通信开销和在不同处理机上时的通信开销。

第十章第十章分布式调度分布式调度10.210.2静态调度静态调度第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v任务划分与分配任务划分与分配任务划分的粒度：

任务划分的粒度：

一个给定任务划分的粒度被定义为任务的计算量与通信量的比值。

如果粒度太大，就会限制并行性，因为潜在的并行任务可能被划分进同一个任务而分配给一个处理器。

粒度太小，进程切换和通信的开销就会增加，从而降低性能。

任务聚类：

在图模型中，任务的划分被称作任务聚类，即在给定的图模型中对小任务进行分类。

任务划分把任务图当作一个整体，将图中的小任务（节点）划分成不同的聚类，聚类中的小任务串行执行，不同的聚类之间并行执行。

任务聚类中可以使用两种策略：

（1）将不相关的任务映射到一个聚类中；

（2）将DAG中一条优先路径上的任务映射到一个聚类中。

第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v任务划分与分配任务划分与分配一些划分算法：

（1）

（1）关键路径划分。

关键路径划分。

关键路径（最长路径）的概念常常在垂直划分中使用，即用在线性聚类中。

应该清楚的是，依赖于任务优先图中关键路径的细粒度任务必须串行执行。

（2）

（2）消除通信延迟的划分。

消除通信延迟的划分。

这个方法的关键之处在于消除通信的额外开销，所以要把通信频繁的节点聚集成一类。

通常的方法是将一个节点的后继节点与节点自身聚集成一类，只要总的执行时间不会被延长。

第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v任务划分与分配任务划分与分配第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v任务划分与分配任务划分与分配一些划分算法：

（3）（3）任务复制。

任务复制。

为了消除任务间的通信开销，将任务在处理机上进行复制有时是最有效的方法。

它是任务划分的一个可选方法。

任务复制不仅能保留程序最初的并行性，同时也能减少通信开销。

（4）（4）其他技术。

其他技术。

Kim和Browne的线性聚类技术，在每一步，计算量和通信量最大的有向路径上的节点聚集成一个单独的线性聚类，并且这些节点被从图中除去。

对图中剩余的节点迭代执行这个过程，直到整个任务图已经全部被划分成一些聚类。

Sarkar的内在化聚类方案，将每个节点最初放在一个单独的聚类中，并且以弧上通信开销的下降顺序考虑将图中的节点划分成一些聚类。

这个算法不断地将两个聚类合并成一个更大的聚类，如果在合并过程中生成的更大聚类不会增加这个图的估计并行执行时间，那么这个合并过程就被接受。

这个过程一直进行下去，直到不再需要合并为止。

第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v任务划分与分配任务划分与分配任务复制：

第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v基于任务优先图的任务调度基于任务优先图的任务调度甘特图甘特图（ganttchart）能够最有效描述进程对处理器的分配情况。

甘特图以处理器为纵坐标，以时间为横坐标。

图中的每个方块表示进程在某个系统中的开始时间、持续时间和结束时间。

处理器内的时间延迟和处理器间的时间延迟都能够在图中体现。

第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v基于任务优先图的任务调度基于任务优先图的任务调度第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v基于任务优先图的任务调度基于任务优先图的任务调度通信延迟和任务复制对调度的影响：

第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v基于任务优先图的任务调度基于任务优先图的任务调度线性聚类与非线性聚类：

线性聚类与非线性聚类：

如果至少有一个聚类中包含两个独立的任务，则聚类是非线性的；

否则，聚类就是线性的。

第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v基于任务优先图的任务调度基于任务优先图的任务调度一个任务优先图可以认为是许多分叉和合并操作的集合，分叉x（合并x）的粒度是：

第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v基于任务优先图的任务调度基于任务优先图的任务调度给定任务优先图给定任务优先图GG的粒度是的粒度是：

如果g（x）1，合并x或分叉x就是粗粒度；

否则就是细粒度。

同样如果g（G）1，图G就是粗粒度，否则就是细粒度。

当表示一个应用程序的给定的有向无环图DAG（任务优先图）是粗粒度时，也就是它的一个链接上的通信代价小于分叉或者合并操作连接的相邻节点的计算代价，任何非线性聚类可以被转换成具有更少或相等执行时间的线性聚类。

注意，上面的结论暗示了一个粗粒度程序的线性聚类性能优于任何非线性聚类。

然而，对细粒度程序而言，可能存在也可能不存在一个非线性聚类优于线性聚类。

第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v两两种最优调度算法种最优调度算法两种方法都假设通信代价可以忽略，优先图中每个节点的执行时间是一样的，即一个时间单元。

具体限制如下：

（1）在第一个有约束的调度问题中，优先图是一棵树。

（2）在第二个有约束的调度问题中，只有两个处理器可用。

两种调度算法都是最高层优先（highest-level-first）方法，也就是说，通过节点的优先级来选择节点。

第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v两两种最优调度算法种最优调度算法树结构的优先图和这个图在三个处理器上的最优调度：

第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v两两种最优调度算法种最优调度算法只有两个处理器可供使用的调度：

第十章第十章分布式调度分布式调度10.210.2静态调度静态调度v基于任务相互关系图的任务调度基于任务相互关系图的任务调度1）任务相互关系图由无向图Gt（Vt,Et）表示，Vt是进程集合，Et是边集合，每条边用相关两个进程的通信代价标记；

2）处理器图Gp（Vp,Ep）用顶点集Vp和边集Ep表示，Vp中的每个元素是一个处理器，Ep中的每个元素是一个通信信道；

3）然后进行