基于Ganglia的集群监控软件的设计与实现毕业设计论文.docx

1、基于Ganglia的集群监控软件的设计与实现毕业设计论文毕业设计(论文)基于Ganglia的集群监控软件的设计与实现系 别 ：计算机科学与技术系专业（班级）：计算机科学与技术10级1班作者（学号）：汪雨生（51002011037）指导教师：王硕（硕士）完成日期：2014年5月16日 蚌埠学院教务处制基于Ganglia的集群监控软件的设计与实现摘 要: 如今如何有效地监控集群内的多个计算机节点以及各个节点的部署已经成为了非常关注的问题。集群监控系统它是一个并行或分布式的处理系统，它包含多个独立计算节点的网络互连连接，它可以通过集群系统的软件/硬件，组成一个统一的计算资源的映像。Ganglia它是

2、集群监控软件中的一种，是一种分布式、可伸缩的高性能计算系统的监控系统如集群和网格。它在监测多节点状态信息方面的功能很全面，另外Ganglia是一个开源的软件框架，同时它也提供了一个非常完美的基于web图形显示的解决方案而且它提供了简单方便的基于web的实时图形显示各节点的状态信息而且很方便扩展。以PHP为基础的Ganglia集群监控将更有利于跨平台的监控和控制集群内的所有主机，并且可以通过web接口来实现故障检测来发现系统内存在的故障点并及时排除并隔离故障点；通过性能检测能够及时的发现系统的性能瓶颈并及时的利用Ganglia集群软件的负载平衡策略来消除系统的性能瓶颈，这对集群系统的性能、可用性

3、、以及可靠性的提高都有非常的必要。关键词：集群监控；分布式；Ganglia；负载平衡The design and implementation of cluster monitoring software based on GangliaAbstract: Now how to effectively monitor multiple computer within a cluster nodes and each node deployment has become a very concern.Cluster monitoring system which is a parallel or

4、 distributed processing system, which contains multiple independent computing nodes networking connection, it can be through the cluster system software/hardware, form a unified image of computing resources.Ganglia is one of the cluster monitoring software, it is a distributed, scalable, high-perfor

5、mance monitoring system, such as cluster and grid computing system.It in monitoring the function of the node status information is more comprehensive, additional Ganglia is an open source software framework, and it also provides a very perfect web based graphical display solutions and it provides a

6、simple and convenient web-based real-time graphics display status information of each node and convenient expansion.Based on PHP Ganglia cluster monitoring will be more conducive to cross-platform monitoring and control of all hosts within a cluster, and can be found through a web interface to reali

7、ze the fault detection problems under the system of fault point and promptly remove and isolate the fault point,Through performance test can timely discovery system performance bottlenecks and timely use of Ganglia clustering software load balancing strategy to eliminate performance bottlenecks in t

8、he system, the performance of the cluster system, availability, and the improvement of reliability are very necessary.Keywords: cluster monitoring; Distributed; Ganglia; Load balancing基于Ganglia的集群监控软件的设计与实现1 概 述1.1 背景及意义集群技术是近年来新兴的，高性能计算技术，它使一组独立的计算机通过高速通信网络互联而组成的一个单一的并行的计算机系统，并且可以作为一个单一模式的系统进行系统管理。

9、因为在集群内有大量的节点及其组件，所以对每个节点的监测和控制在集群系统的服务器中就显得尤为重要，这是提高系统的资源利用率和可用性的一种有效方法。Ganglia 在监测多个节点状态方面功能非常强大，同时使用XDR监控的数据传输很好地减少了机群内部的多播地址发送监测数据的数量，而且应用的RRDTool也提供很完善的图形化显示方案，这大大简化海量数据地处理。RRD是一种有效的存储和显示时间序列数据的数据库。它利用紧凑的设计时来划分固定大小的存储空间来存储数据。因此通过这种方式存储数据，数据库的大小就不会随着时间的推移而不断增大。因此，很好地减少了数据库的维护和管理。由于 Ganglia 是一个开源的

10、框架，因此Ganglia 提供的 web 能实时图形化来展示各节点信息的功能而且也很方便扩展，因此以 Php 为基础的 Ganglia 在前端的web接口实现了对集群内的所有主机的监控。这将更有利于跨平台的监控和控制。并且我们可以通过故障检测来发现系统运行时的故障点并能够及时排除和进行隔离，并且通过性能检测发现系统运行时的性能瓶颈并能及时利用系统中的负载平衡策略来消除系统的瓶颈。同时为了更方便管理员对服务器的监控，因此对服务器进行异地监控也显的日益重要。1.2 开发环境在开发此Ganglia的集群监控软件时，用到了以下的软件环境。硬件环境 ：个人PC ，内存2G以上，显卡512M以上，分辨率：

11、最佳效果为1024 * 768 。 操作系统：Ubuntu 12.04镜像。软件：虚拟机。安装包：基于Ubuntu的ganglia-monitor、ganglia-webfrontend、gmetad、rrdtool安装包。1.3 可行性分析Ganglia它主要应用于高性能的计算机分布系统（例如：网格、云计算、集群等等）这些被设计成的可扩展的集群监控系统。这个系统是被设计成以一个分层的系统结构，它在一个集群中支持的节点数可以达到2000个。它同时也是允许被注册的用户通过远程来监控系统的一段时间的历史统计数据或者实时的在线数据，包括：计算机的网络利用率、CPU的负载均衡等等。Ganglia它主要

12、是基于组播（单播）的监听和发布等协议来实现集群状态的监控。Ganglia集群系统它实现了多种技术的综合利用，其中主要包括：RRDtool、XDR、XML等等。Ganglia 它主要由加利福尼亚大学伯克利分校等联合起来共同开发的一个开源的监控系统项目，该系统在设计初期它主要是被用作于测量内部计算机节点的数量。然后再让局域网内部的每台计算机系统中都运行着一个gmond 的守护进程，该进程主要是收集并且发送收集到的数据（例如：计算机的内存使用、处理器运行速度等等），该进程是从指定的主机中收集计算机的使用数据。主机接收到这些计算机的所有使用度量数据，然后将这些数据通过精简表单的形式传递到系统的层次结构

13、当中来。正是由于ganglia拥有了这种层次结构的应用模式，这才让 Ganglia系统在集群当中可以拥有更好的扩展性。系统中的另一重要组件gmond 它占用系统的负载很小，这一特征也让它被广泛地应用于集群的各个计算机中，而且对计算机的整体性能也不会产生太大的影响。但是大量的重复的这些数据的收集有可能会影响集群中节点的整体性能。例如集群网络当中的 “抖动”现象就是发生于大量的消息同一时间出现的时候。但是我通过查找资料所知我们可以将系统中节点的时钟保持一致，那么我们就可以很好地避免系统“抖动”这个问题。2 相关技术介绍2.1 集群集群它是为了匹配一组服务工作实体，并以此提供了一个比单一服务工作实体

14、更具有系统扩展性与可用性的服务工作平台。从客户端的角度来看，一个集群从表面看上去它就像是一个单独的服务实体，但是实际上集群它是由一组服务实体共同组成的。服务实体组与单一服务实体作比较，集群具有了非常重要的两个特性，如下：1、可扩展性：一个集群所有的性能不仅仅是单一存在的服务工作实体，新开始的服务工作实体也可以很简单地动态地加入到集群当中，因而这大大地增强集群的整体性能。2、高可用性：集群它是通过冗余实体的服务来实现客户端不会轻易受到out of service等之类的警告。在一个集群当中，相同的某个服务可能来自不同的服务实体有可能由多个服务实体共同提供。如果其中的某个服务实体工作失败了，可以由

15、其他的服务实体来接受该失败的实体的服务实体。集群同时也提供了一种从一个运行出错的服务工作实体恢复到某一个运行正常的服务工作实体的功能，该功能大大地增强了集群的可用性。2.2 分布式分布式计算在当今应用的非常广泛，例如我们常说的云计算就是一个很典型的运用。分布式它研究得是怎么把一个需要超级运算能力的问题化成由许多低性能的计算机处理。然后再把这些低性能的计算机处理的数据在给结合起来并显示。网络分布式存储是指将一份数据同时分散的存储在网络中的其他多台主机上，同时网络分布式系统也利用多台存储服务器共同来分担数据存储负荷，这就是网络分布式存储系统的应用同时也体现了可扩展的系统体系结构。利用定位器位置服务

16、来存储位置信息，这既解决了传统的集中式数据的瓶颈问题，同时又提高了系统运行的扩展性、可用性和可靠性。2.3 网格计算网格集群或是网格计算都是与集群应用非常相关的技术。网格与我们传统所认识的集群式是有一定差别的，网格集群它是由一组相关但又不相互信任的计算机。该集群的运作更像是一个公共计算设施但却不是一个完全孤立的计算机。另外，网格计算和大部分的集群比较起来，将会比大部分的集群都要支持更多的类型不同的计算机集合。网格计算更适合那种相对比较独立完成作业任务的活动，因此网格计算在运行计算的过程中各个运行的作业间不需要相互的共享数据。其实网格主要服务工作于独立执行和管理计算机间的作业分配和工作。2.4 Gmond监控程序Gmond监控程序（Ganglia Monitoring Daemon，Gmod）是一个组播守护进程，它运行在每一个被监控的节点上。该程序的安装并