ELK日志分析系统Word文件下载.docx
《ELK日志分析系统Word文件下载.docx》由会员分享，可在线阅读，更多相关《ELK日志分析系统Word文件下载.docx（51页珍藏版）》请在冰豆网上搜索。
意味着检索一个文档直到这个文档能够被检索到有一个轻短暂的延迟（通常就是1秒）。
（2）、集群（cluster）
集群就就是由一个或多个节点组织在一起,它们共同持有整个的数据,并一起提供索引与搜索功能。
集群由一个唯一的名字标识,这个名字默认就就是“elasticsearch”。
这个名字很重要,因为一个节点只能通过指定某个集群的名字,来加入这个集群。
在产品环境中显式地设定这个名字就是一个好习惯,但就是使用默认值来进行测试/开发也可以。
（3）、节点（node）
节点就是值集群中的具体服务器,作为集群的一部分,它可存储数据,参与集群的索引与搜索功能。
与集群类似,一个节点也就是由一个名字来标识的,默认情况下,这个名字就是一个随机名字,这个名字会在服务启动时赋予节点。
这个名字对于管理者非常重要,因为在管理过程中,需要确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。
节点可以通过配置集群名称的方式来加入一个指定的集群。
默认情况下,每个节点都会被安排加入到一个叫做“elasticsearch”的集群中,这意味着如果在网络中启动了若干个节点,并假定它们能够相互发现彼此,那么各节点将会自动地形成并加入到一个叫做“elasticsearch”的集群中。
在一个集群里,可以拥有任意多个节点。
并且,如果当前网络中没有运行任何Elasticsearch节点,这时启动一个节点,会默认创建并加入一个叫做“elasticsearch”的集群。
（4）、索引（index）
索引就是指一个拥有相似特征的文档的集合。
比如说,您可以有一个客户数据的索引,另一个产品目录的索引,还有一个订单数据的索引。
每个索引均由一个名字来标识（必须全部就是小写字母的）,并且当要对对应于这个索引中的文档进行索引、搜索、更新与删除的时候,都要使用到这个名字。
“索引”有两个意思:
A、作为动词,索引指把一个文档“保存”到ES中的过程,某个文档被索引后,就可以使用ES搜索到这个文档
B、作为名词,索引指保存文档的地方,相当于数据库概念中的“库”
为了方便理解,我们可以将ES中的一些概念对应到我们熟悉的关系型数据库上:
ES
索引
类型
文档
DB
库
表
行
在一个集群中,可以定义任意多的索引。
（5）、类型（type）
在一个索引中,可以定义一种或多种类型。
类型就是指索引的一个逻辑上的分类/分区,其语义可自定义。
通常情况下,会为具有一组共同字段的文档定义一个类型。
比如说,我们假设运营一个博客平台并且将所有的数据存储到一个索引中。
在这个索引中,可以为用户数据定义一个类型,为博客数据定义另一个类型,当然,也可以为评论数据定义另一个类型。
（6）、文档（document）
文档就是指可被索引的基础信息单元。
比如,您可以拥有某一个客户的文档,某一个产品的一个文档,当然,也可以拥有某个订单的一个文档。
文档以JSON（JavascriptObjectNotation）格式来表示,而JSON就是一个普遍存在的互联网数据交互格式。
在一个index/type里面,可以存储任意多的文档。
注意,尽管一个文档物理上存在于一个索引之中,但文档必须被赋予一个索引的type。
（7）、分片与复制（shards&
replicas）
一个索引可以存储超出单个节点磁盘限制的大量数据。
比如以下情况,一个具有10亿文档的索引占据1TB的磁盘空间,而集群中任一节点都没有这样大的磁盘空间;
或者单个节点处理搜索请求,响应太慢。
为了解决此问题,Elasticsearch提供了将索引划分成多份的能力,这些份就叫做分片。
当创建一个索引的时候,可以指定想要的分片的数量。
每个分片本身也就是一个功能完善并且独立的“索引”,这个“索引”可以被放置到集群中的任何节点上。
分片之所以重要,主要有两方面的原因:
A、允许水平分割/扩展内容容量
B、允许在分片（潜在地,位于多个节点上）之上进行分布式的、并行的操作,进而提高性能/吞吐量
至于一个分片怎样分布,它的文档怎样聚合搜索请求,就是完全由Elasticsearch管理的,用户对此就是透明的。
在一个网络/云的环境里,失败随时都可能发生,在某个分片/节点无原因就处于离线状态,或者由于任何原因消失了的情况下,Elasticsearch提供一个故障转移机制,它允许您创建分片的一份或多份拷贝,这些拷贝叫做复制分片,或者直接叫复制。
复制之所以重要,有两个主要原因:
A、在分片/节点失败的情况下,提供了高可用性。
因为这个原因,注意到复制分片从不与原/主要（original/primary）分片置于同一节点上就是非常重要的。
B、扩展您的搜索量/吞吐量,因为搜索可以在所有的复制上并行运行
总之,每个索引可以被分成多个分片。
一个索引也可以被复制0次（意思就是没有复制）或多次。
一旦复制了,每个索引就有了主分片（作为复制源的原来的分片）与复制分片（主分片的拷贝）之别。
分片与复制的数量可以在索引创建的时候指定。
在索引创建之后,可以在任何时候动态地改变复制的数量,但就是事后不能改变分片的数量。
默认情况下,Elasticsearch中的每个索引被分片5个主分片与1个复制,这意味着,如果您的集群中至少有两个节点,您的索引将会有5个主分片与另外5个复制分片（1个完全拷贝）,这样的话每个索引总共就有10个分片。
1、2、3Logstash介绍
Logstash的主要功能就是收集与过滤,类似于shell中的管道符“|”。
它的工作过程就是将数据进行收集,并对收集的入职根据策略进行分类与过滤,最后进行输出、
实际上,Logstash就是用不同的线程来实现收集、过滤、输出功能的,可运行top命令然后按下H键查瞧线程。
数据在线程之间以事件的形式流传。
并且,logstash可以处理多行事件。
Logstash会给事件添加一些额外信息。
其中最重要的就就是@timestamp,就是用来标记事件的发生时间。
因为这个字段涉及到Logstash的内部流转,所以必须就是一个json对象,如果自定义给一个字符串字段重命名为@timestamp的话,Logstash会直接报错,那么就需要使用filters/date插件来管理这个特殊字段。
额外信息还包括以下几个概念:
A、host标记事件发生在哪里。
B、type标记事件的唯一类型。
C、tags标记事件的某方面属性。
这就是一个数组,一个事件可以有多个标签。
也可以自定义个事件添加字段或者从事件里删除字段。
事实上事件本身就就是就是一个Ruby对象。
1、2、4Kibana介绍
Kibana就是一个开源的分析与可视化平台,用于与Elasticsearch一起使用,可以用kibana搜索、查瞧、交互存放在Elasticsearch索引里的数据,使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。
Kibana对大量数据的呈现非常清晰。
它简单、基于浏览器的接口能快速创建与分享实时展现Elasticsearch查询变化的动态仪表盘。
Kibana支持LInux、Windows等操作系统。
版本要求:
Kibana要求安装版本要与Elasticsearch一致。
Kibana版本
Elasticsearch版本
就是否支持
5、X
2、X
不支持
5、1
5、0
支持
5、2
支持（会有提示升级的警告）
5、1、0
5、1、1
本次安装部署的Kibana版本为4、3、1版本,对应Elasticsearch版本为2、4、6版本。
二ELK安装配置
2、1系统架构介绍
此架构的工作流程就是Logstashagent（shipper）监控并过滤客户端日志,将过滤后的日志内容发给Redis（indexer）,此处的Redis既充当消息队列的角色,由于其优越的持久化机制也被用来做缓存,然后LogstashServer（indexer）从Redis的对应位置拿出日志数据,并将其输出到ElasticSearch中,ElasticSearch获取到数据后开始生产索引,然后使用Kibana进行页面展示。
这就是一个完成的日志收集、存储、检索流程。
2、2安装Elasticsearch
OS:
Centos6、5
elk-node1:
10、20、20、48
elk-node2:
10、20、20、47
在两台主机上分别安装Elasticsearch。
准备工作:
（1）、关闭防火墙、Selinux
#iptables-F
#chkconfigiptablesoff
#setenforce0
#vim/etc/sysconfig/selinux
改为:
SELINUX=disabled
（2）、配置java环境
#yuminstall-yjava
#java-version
javaversion"
1、7、0_151"
OpenJDKRuntimeEnvironment（rhel-2、6、11、0、el6_9-x86_64u151-b00）
OpenJDK64-BitServerVM（build24、151-b00,mixedmode）
（3）、配置主机信息
node1、node2节点分别配置:
其中node1就是master,node2就是slave
#vim/etc/hosts
10、20、20、48elk-node1
10、20、20、47elk-node2
2、2、1Yum方式安装
（1）、下载并安装GPG-Key
#rpm--import
（2）、添加yum仓库
#vim/etc/yum、repos、d/elasticsearch、repo
[elasticsearch-2、x]
name=Elasticsearchrepositoryfor2、xpackages
baseurl=
gpgcheck=1
gpgkey=
enabled=1
（3）、安装elasticsearch
#yuminstall-yelasticsearch
（4）、安装测试软件
注:
提前先下载安装epel源:
epel-release-latest-6、noarch、rpm,否则yum会报错:
NoPackage、、、、、
#wget
#rpm-ivhepel-release-latest-6、noarch、rpm
#yuminstall-yredis
#yuminstall-ynginx
（5）、部署配置
#mkdir-p/data/es-data
#vim/etc/elasticsearch/elasticsearch、yml
cluster、name:
nova##集群名称
node、name:
elk-node1##节点名,建议与主机一致
node、master:
true##指定该节点就是否有资格被选举成为masternode,默认就是true,es就是默认集群中的第一台机器为master,如果这台机挂了就会重新选举master。
node、data:
false##指定该节点就是否存储索引数据,默认为true。
path、data:
/data/es-data##数据存放路径
path、logs:
/var/log/elasticsearch/##日志存放文件
bootstrap、memory_lock:
true##内存锁机制,锁住内存,不被使用到交换分区去
network、host:
0、0、0、0##网络主机访问权限设置
http、port:
9200##web端口
elk-node2##节点名,建议与主机一致
false##指定该节点就是否有资格被选举成为masternode,默认就是true,默认集群中的第一台机器为master,如果这台机挂了就会重新选举master。
true##指定本节点为数据存储节点
discovery、zen、ping、multicast、enabled:
false##多播自动发现禁用开关,当前设置为关闭
discovery、zen、ping、unicast、hosts:
["
10、20、20、48"
"
10、20、20、47"
]
#chown-Relasticsearch、elasticsearch/data/
（6）、启动服务
#/etc/init、d/elasticsearchstart
Startingelasticsearch:
[OK]
#chkconfigelasticsearchon
#/etc/init、d/elasticsearchstatus
elasticsearch（pid2309）isrunning、、、
#netstat-antplu|egrep"
9200|9300"
tcp00:
:
9200:
*LISTEN2309/java
tcp00:
9300:
*LISTEN2309/java
（7）、验证
1）、web浏览器访问
打开浏览器（最好就是google浏览器）,输入IP+端口:
10、20、20、48:
9200,查瞧界面显示。
验证正确。
2）、通过命令的方式查瞧
即可在本机查瞧,也可在其她主机查瞧。
#curl-i-XGET'
'
-d'
{"
query"
match_all"
{}}}'
HTTP/1、1200OK##访问成功
Content-Type:
application/json;
charset=UTF-8
Content-Length:
95
{
"
count"
:
0,
_shards"
{
total"
successful"
failed"
0
}
}
2、2、2源码安装
（1）、获取elasticsearch-2、4、6、tar、gz源码包,并保存在系统/usr/local/src中。
（2）、解压安装
#cd/usr/local/src
#tar-xvfelasticsearch-2、4、6、tar、gz
#mvelasticsearch-2、4、6/usr/loca/es
（3）、创建es用户及数据目录
#groupaddes
#useradd-geses
#mkdir-r/data/es-data
#chown-Res:
es/data/es-data
#mkdir-r/var/log/elasticsearch
es/var/log/elasticsearch
（4）、es配置
#vim/usr/local/es/config/elasticsearch、yml
配置参数时,需要先设置一个空格,否则启动时会报错。
cluster、name:
nova
node、name:
elk-node3
false
true
path、data:
/data/es-data
path、logs:
/data/logs/es
0、0、0、0
9200
"
10、20、20、38"
（5）、启动
源码安装的es不能使用root用户启动,必须使用创建好的普通用户进行启动。
#su-es
$/usr/local/es/bin/elasticsearch&
[2017-09-2923:
57:
38,334][WARN][bootstrap]unabletoinstallsyscallfilter:
seccompunavailable:
CONFIG_SECCOMPnotcompiledintokernel,CONFIG_SECCOMPandCONFIG_SECCOMP_FILTERareneeded
[2017-09-2923:
38,346][WARN][bootstrap]UnabletolockJVMMemory:
error=12,reason=Cannotallocatememory
38,346][WARN][bootstrap]ThiscanresultinpartoftheJVMbeingsout、
38,346][WARN][bootstrap]IncreaseRLIMIT_MEMLOCK,softlimit:
65536,hardlimit:
65536
38,346][WARN][bootstrap]Thesecanbeadjustedbymodifying/etc/security/limits、conf,forexample:
#allowuser'
es'
mlockall
essoftmemlockunlimited
eshardmemlockunlimited
38,347][WARN][bootstrap]Ifyouareloggedininteractively,youwillhavetore-loginforthenewlimitstotakeeffect、
38,704][INFO][node][elk-node3]version[2、4、6],pid[3375],build[5376dca/2017-07-18T12:
17:
44Z]
38,704][INFO][node][elk-node3]initializing、、、
39,167][INFO][plugins][elk-node3]modules[lang-groovy,reindex,lang-expression],plugins[],sites[]
39,205][INFO][env][elk-node3]using[1]datapaths,mounts[[/（/dev/mapper/vg_nginx-lv_root）]],netusable_space[33、2gb],nettotal_space[36、8gb],spins?
[possibly],types[ext4]
39,205][INFO][env][elk-node3]heapsize[1015、6mb],compressedordinaryobjectpointers[true]
39,205][WARN][env][elk-node3]max[
升级会员 