linux集群上配置Ganglia监控系统并监控solrWord格式.docx

1、 gmond 是一个守护进程，他运行在每一个需要监测的节点上，收集监测统计，发送和接受在同一个组播或单播通道上的统计信息。 gmetad 也是一个守护进程，他定期检查gmonds ，从那里拉取数据，并将他们的指标存储在RRD存储引擎中。它可以查询多个集群并聚合指标。RRD也被用于生成用户界面的web前端。 ganglia-web 顾名思义，他应该安装在有gmetad运行的机器上，以便读取RRD文件。一般来说一个集群的每台机器上都需要安装gmond，只要负责展示web界面的机器安装了gmetad即可。Ganglia采用Internet IPv4 类D地址中的的组播进行数据请求。主要是为了实现一对

2、多节省带宽的需要。其实现原理为gmetad发送一个请求到一个组播地址，由于是组播地址，所以gmetad只需发送一次请求包即可完成对所有gmond的轮询。（如果是单播，则Ganglia需要向每台服务器均发送一次轮询请求，这样的话，集群数量多了，主服务器光发送就会占用不小的带宽。而Ganglia本身是为大规模集群所做的HPC而生的，如果占用很高的带宽和占用很大量的CPU资源去处理网络数据就不符合其设计理念了。）然后gmond通过这个请求将采集到的数据返回给gmetad，gmetad将数据保存在rrd数据库中，然后通过web界面绘图展示。三、安装Ganglia在服务器端：#安装基础的开发包直接在li

3、nux中使用下面命令下载，会有几部提示，都按：y全部下载即可yum install y wget apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel rpmbuild glib2-devel dbus-devel freetype-devel fontconfig-devel gcc-c+ expat-devel python-devel libXrender-devel rrdtool*#安装jmxtrans执行完之后，再以此执行以下的与语句，在上面安装执行完毕之后，执行以下的几个命令：rpm -ivh #

4、安装绘图工具：rrdtool它用于数据存储和可视化yum install rrdtool#安装相应的gangliayum install ganglia*执行这个命令的时候也会有几个提示，Is this oky/N：都按：至此，相应的Ganglia以及其需要的支撑软件全部安装完毕。在客户端：除了不需要安装rrdtool这个之外，其他的都需要进行安装，由于部署的是监控solr以及集群cpu、memory、tcp等基础信息，所以不仅需要启动gmond服务，还需要启动jmxtrans的服务。因为在jmxtrans的路径下增加了solr.json配置文件（针对solr监控的配置信息）。四、配置相应的文

5、件 配置gmetad.conf文件（ganglia服务端配置文件）vim /etc/ganglia/gmetad.conf增加data_source “solrcluster” 127.0.0.1如果是集群环境配置，那么需要这样配置：data_source solrcluster localhost clnode1 clnode2其中localhost可以为：127.0.0.1，也可以是你本服务器实际的地址即：10.38.11.102，后面的clnode1，clnode2为集群内的节点（注意：在主服务器上配置多个节点，使用这台服务器去监控集群中的所有节点的信息，我本地服务器默认是102，来监控

6、102、103、104这三台服务器的信息）那么此时的clnode1和clnode2即需要在10.38.11.103和104上的gmnod.conf中的cluster的name里配置。如下图所示的配置。之后重新启动gmetad.conf和gmode.conf这两个服务即可。 solrtest1 solrtest2 solrtest4注意：如果集群节点名字发生了改变，你需要修改集群节点管理器上的/etc/gmetad.conf文件，重启所有节点上的gmond，然后重启集群节点管理器上的gmetad以使改变生效。data_source中的每个节点都应该向Ganglia提供相同的信息进行监视，因为Ga

7、nglia使用对称模式（多播）通讯，其中一个节点失效意味着Ganglia可以继续连接到下一个节点，因为这个原因，每个data_source条目中不一定要指定集群中的每个主机。 配置gmond.conf文件（ganglia客户端配置文件）vim /etc/ganglia/gmond.conf修改cluster中的name，其中name可以是随意的，如下图：这块配置的名称就会在首页面的节点信息显示出来，标示对应的服务器的节点名称。切忌，这里需要注意一点，我这里有3台服务器，那么对应的name值在3台服务器上需要都要一致，因为所有name相同的节点将认为在同一个集群里，那么需要在配置/etc/gan

8、glia/gmetad.conf文件的时候，对应的名称也需要和这个name名称一致。【在问题总结处，有对应的各个块的详细解释】 修改ganglia.conf文件（ganglia服务配置文件）vim /etc/httpd/conf.d/ganglia.conf将Deny from all修改为Allow from all 增加solr.json文件（针对监控内容配置文件）配置jmxtrans对应的监控solr的json文件，即在/var/lib/jmxtrans文件夹下创建一个solr.json文件，在其中里面新增内容如下：（加红色的地方需要修改,其中alias在每台服务器上都是用solrtes

9、t1,这只不过是一个别名，标志着这台服务器下的服务信息。但是必须要保证下面标红色的所有alias都要一致才可以）servers : host 10.38.11.102,aliassolrtest1port3000queriesobjjava.lang:type=MemoryresultAlias:solrtest1.heapattr HeapMemoryUsage, NonHeapMemoryUsage ,outputWriters classcom.googlecode.jmxtrans.model.output.GangliaWritersettingsgroupNameSolr-JVM2

10、39.2.11.718649 ,name=CMS Old Gen,type=MemoryPoolsolrtest1.cmsoldgenUsagetype=GarbageCollector,name=* solrtest1.gcCollectionCountCollectionTime , type=Threadingsolrtest1.threadsDaemonThreadCountPeakThreadCountThreadCountTotalStartedThreadCountsolr/collection1:type=queryResultCache,id=org.apache.solr.

11、search.LRUCachesolrtest1.queryCachewarmupTime,sizelookupsevictionshitshitratioinsertscumulative_lookupscumulative_hitscumulative_hitratiocumulative_insertscumulative_evictionstype=searcher,id=org.apache.solr.search.SolrIndexSearchersolrtest1.searchermaxDocnumDocs其中239.2.11.71：8649是ganglia默认的多点传输通道五、

12、启动顺序主服务启动：/启动apache服务/etc/init.d/httpd start（启动这个的时候可能会报出问题，请查看下面的问题总结）/启动ganglia服务端服务也即绘图服务/etc/init.d/gmetad start/启动ganglia客户端服务也即数据收集服务/etc/init.d/gmond start/jmx的启动/etc/init.d/jmxtrans start启动solr的时候，需要加上一些有关solr配置的参数。可以在相应的配置文件中将该参数加入启动参数，例如我本机的是在：/etc/default/jetty中加入的，如下图所示：增加的启动参入如下：-Djava.

13、rmi.server.hostname=10.38.11.102-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=3000 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false/solr的启动/etc/init.d/jetty start集群客户端的启动：/etc/init.d/jetty start（当然在启动solr服务的时候，也是需要将相应的启动参数配置到相应的配置文件中）每个服

14、务器上都要按照此顺序进行启动，启动之后在浏览器上输入http:/10.38.11.102/ganglia就可以看到如下图所示的效果了：下方的3个服务器监控都会显示出来，可以点进去具体的一个查看详情等信息。六、问题总结1. 启动jmxtrans的时候，会报出无法检测到对应的服务器home内容，即无法连接这是因为jmxtrans启动的时候会从hosts文件中寻找对应hostname值的ip地址，此时如果寻找不到，那么需要我们在hosts中增加上对应hostname对应的本地ip地址，例如我增加如下：（注意：根据具体提示信息来进行配置）127.0.0.1 2. 在/etc/ganglia/gmod.

15、conf文件中，各个段对应的内容意思如下：globals段：gmond的全局配置，一般不需要修改cluster段：这一段是重要的一段，至少需要定义name变量，所有name相同的节点将认为在同一个集群里，其他变量是对该集群的说明。host段：只有一个变量，location，是对这个节点的一些说明udp_send_channel段：这也是很重要的一段，可以定义多个这样的段，不过如果在通一局域网内，只有一个集群的环境下，这一段保持默认也可以工作的很好。ganglia默认采用多播发送监控数据，mcast_join变量指定多播组。但是，并非所有环境都适合多播，例如，我的环境就不适合多播，幸运的是，ga

16、nglia也支持单播的方式，host变量指定一台gmond服务器接受监控数据。值得注意的是，mcast_join和host不能同时出现在一个channel里。port 指定端口号，ttl指定跳数一般为1，如果需要经过gmond中转，需要修改这个跳数。udp_recv_channel段：对应于udp_send_channel段，也可以设置多个。如果采用单播的方式，需要注意bind变量指出的ip，你的所有其他gmond可以访问到，事实上，可以使用0.0.0.0tcp_accept_channel段：指定一个端口，可以通过TCP的的方式，从这个端口读取XML格式的监控数据modules段和colle

17、ction_group段：这两段会在下一篇讲扩展gmond的文章中介绍七、集群的分组部署默认配置下，Ganglia会把所有东西放在一个Grid里面，也就是一个网格。大的集群，不分组。但是真实的服务器集群有各种功能，每个群分管不同的事务，全放一起就太乱了。也不好识别，所以需要分组使用。其实Ganglia的分组很简单，就是分端口，不同的组配置不同的监听端口就完事了。我的gmetad.conf是这样配置的。gmetadNamenode 192.168.1.28:8653Datanode 192.168.1.27:8649Portal 192.168.1.43:8650Collector 192.16

18、8.1.35:8651DB 192.168.1.51:8652gridname Hadooprrd_rootdir /opt/modules/ganglia/html/rrds#配置rrd数据保存文件的路径，给web界面用的，这个是固定的，最好放在web文件夹下，并赋予正确的权限case_sensitive_hostnames 0数据来源有5个，这5个分别是每个组的组长，相当于一道杠。但是组长是不需要配置gmetad的，除非你要做多级组播收集数据。每个组长只需要分配不同的端口号就可以了。你可能会问，IP不一样，端口一样不行吗？不行，因为这个IP是单播IP，相当于一个路由指向，而Ganglia实

19、际的数据传输是在多播IP上进行的，而多播IP只有一个。在客户端配置，如果你需要多级gmetad，可以配多个多播IP。客户端配置就比较复杂一些了。我只贴上需要修改的部分，其他都是默认就可以了gmondcluster name = #对应gmetad中的Portal，名称一定要写对。owner = unspecifiedlatlong = url = /* Feel free to specify as many udp_send_channels as you like.Gmond used to only support having a single channel */udp_send_c

20、hannel #bind_hostname = yes # Highly recommended, soon to be default. # This option tells gmond to use a source address # that resolves to the machines hostname.Without # this, the metrics may appear to come from any # interface and the DNS names associated with # those IPs will be used to create th

21、e RRDs.mcast_join = 239.2.11.71port = 8650 #gmetad中的Portal所分配的端口号。ttl = 1/* You can specify as many udp_recv_channels as you like as well. */udp_recv_channel bind = 239.2.11.71/* You can specify as many tcp_accept_channels as you like to share an xml description of the state of the cluster */tcp_acc

22、ept_channel 红色部分就是Portal小组的端口，从gmetad.conf中可以看到，Portal小组属于8650端口，那么相应的在gmond中，也要将udp和tcp端口写为8650。如果是另外一个组的，就写上在gmetad中配置的那个端口。当然，你可以把这个端口号想像为小组的代号。可能更好理解一些。再加上另外一个组的成员gmond就更容易理解了/* The host section describes attributes of the host, like the location */host location = # This option tells gmond to use