ELK日志分析系统.docx

1、ELK日志分析系统ELK日志分析系统1、ELK日志分析系统介绍1.1传统的日志统计及分析方式日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们

2、使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。1.2 ELK介绍开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。（1）、Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。（2）、Logstash是一个完全开源的工具，可以对日志进行收集、过滤，并将其存储供以后使用（如：搜索）。（3）、

3、Kibana 也是一个开源和免费的可视化工具，可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。1.2.1 Elasticsearch介绍Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎，Lucene是当前行业内最先进、性能最好的、功能最全的搜索引擎库。但Lucene只是一个库。无法直接使用，必须使用Java作为开发语言并将其直接集成到应用中才可以使用，而且Lucene非常复杂，需要提前深入了解检索的相关知识才能理解它是如何工作的。Elasticsearch也使用Java开发并

4、使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。但Elasticsearch不仅仅值是Lucene库和全文搜索，它还有以下用途：? 分布式的实时文件存储，每个字段都被索引并可被搜索? 分布式的实时分析搜索引擎? 可以扩展到上百台服务器，处理PB级结构化或非结构化数据1.2.2 Elasticsearch基础概念Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。 （1）、接近实时（NRT）Elasticsearch是一个接近实时的搜索平台。意味着检索一

5、个文档直到这个文档能够被检索到有一个轻短暂的延迟（通常是1秒）。（2）、集群（cluster）集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能。集群由一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字很重要，因为一个节点只能通过指定某个集群的名字，来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯，但是使用默认值来进行测试/开发也可以。（3）、节点（node）节点是值集群中的具体服务器，作为集群的一部分，它可存储数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机名字，这

6、个名字会在服务启动时赋予节点。这个名字对于管理者非常重要，因为在管理过程中，需要确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着如果在网络中启动了若干个节点，并假定它们能够相互发现彼此，那么各节点将会自动地形成并加入到一个叫做“elasticsearch”的集群中。在一个集群里，可以拥有任意多个节点。并且，如果当前网络中没有运行任何Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsear

7、ch”的集群。（4）、索引（index）索引是指一个拥有相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。每个索引均由一个名字来标识（必须全部是小写字母的），并且当要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。“索引”有两个意思： A.作为动词，索引指把一个文档“保存”到 ES 中的过程，某个文档被索引后，就可以使用 ES 搜索到这个文档 B.作为名词，索引指保存文档的地方，相当于数据库概念中的“库” 为了方便理解，我们可以将 ES 中的一些概念对应到我们熟悉的关系型数据库上：ES索引类型文档DB库表行在一

8、个集群中，可以定义任意多的索引。（5）、类型（type）在一个索引中，可以定义一种或多种类型。类型是指索引的一个逻辑上的分类/分区，其语义可自定义。通常情况下，会为具有一组共同字段的文档定义一个类型。比如说，我们假设运营一个博客平台并且将所有的数据存储到一个索引中。在这个索引中，可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。（6）、文档（document）文档是指可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格

9、式来表示，而JSON是一个普遍存在的互联网数据交互格式。在一个index/type里面，可以存储任意多的文档。注意，尽管一个文档物理上存在于一个索引之中，但文档必须被赋予一个索引的type。（7）、分片和复制（shards & replicas）一个索引可以存储超出单个节点磁盘限制的大量数据。比如以下情况，一个具有10亿文档的索引占据1TB的磁盘空间，而集群中任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。为了解决此问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片。当创建一个索引的时候，可以指定想要的分片的数量。每个分片本身也是一个功能完善并且

10、独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。分片之所以重要，主要有两方面的原因：A.允许水平分割/扩展内容容量B.允许在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能/吞吐量至于一个分片怎样分布，它的文档怎样聚合搜索请求，是完全由Elasticsearch管理的，用户对此是透明的。在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点无原因就处于离线状态，或者由于任何原因消失了的情况下，Elasticsearch提供一个故障转移机制，它允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。复制之所以重要，有两个主要原因：A.在分片

11、/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的。B.扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后，可以在任何时候动态地改变复制的数量，但是事后不能改变分片的数量。默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个复制，这意味着，如果你的

12、集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。1.2.3 Logstash介绍Logstash的主要功能是收集和过滤，类似于shell中的管道符“|”。它的工作过程是将数据进行收集，并对收集的入职根据策略进行分类和过滤，最后进行输出.实际上，Logstash 是用不同的线程来实现收集、过滤、输出功能的，可运行 top 命令然后按下 H 键查看线程。数据在线程之间以事件的形式流传。并且，logstash 可以处理多行事件。Logstash 会给事件添加一些额外信息。其中最重要的就是 timestamp，是用来标记事件的发生时

13、间。因为这个字段涉及到 Logstash 的内部流转，所以必须是一个json对象，如果自定义给一个字符串字段重命名为 timestamp 的话，Logstash会直接报错，那么就需要使用filters/date插件来管理这个特殊字段。额外信息还包括以下几个概念：A.host 标记事件发生在哪里。B.type 标记事件的唯一类型。C.tags 标记事件的某方面属性。这是一个数组，一个事件可以有多个标签。也可以自定义个事件添加字段或者从事件里删除字段。事实上事件本身就是是一个 Ruby对象。1.2.4 Kibana介绍Kibana是一个开源的分析与可视化平台，用于和Elasticsearch一起使

14、用，可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。Kibana对大量数据的呈现非常清晰。它简单、基于浏览器的接口能快速创建和分享实时展现Elasticsearch查询变化的动态仪表盘。Kibana支持LInux、Windows等操作系统。版本要求：Kibana要求安装版本要和Elasticsearch一致。Kibana版本Elasticsearch版本是否支持5.X2.X不支持5.15.0不支持5.15.1支持5.15.2支持(会有提示升级的警告)5.1.05.1.1支持本次安装

15、部署的Kibana版本为4.3.1版本，对应Elasticsearch版本为2 ELK安装配置2.1 系统架构介绍此架构的工作流程是 Logstash agent（shipper）监控并过滤客户端日志，将过滤后的日志内容发给Redis（indexer），此处的Redis既充当消息队列的角色，由于其优越的持久化机制也被用来做缓存，然后Logstash Server（indexer）从Redis的对应位置拿出日志数据，并将其输出到ElasticSearch中，ElasticSearch获取到数据后开始生产索引，然后使用Kibana进行页面展示。这是一个完成的日志收集、存储、检索流程。2.2 安装E

16、lasticsearchOS:Centos 6.5elk-node1：在两台主机上分别安装Elasticsearch。准备工作：（1）、关闭防火墙、Selinux# iptables -F# chkconfig iptables off# setenforce 0# vim /etc/sysconfig/selinux改为：SELINUX=disabled（2）、配置java环境# yum install -y java# java -versionOpenJDK 64-Bit Server VM (build 24.151-b00, mixed mode)（3）、配置主机信息node1、no

17、de2节点分别配置：其中node1是master，node2是slave# vim /etc/hosts2.2.1 Yum方式安装（1）、下载并安装GPG-Key# rpm -import （2）、添加yum仓库elasticsearch-2.xname=Elasticsearch repository for 2.x packagesgpgcheck=1enabled=1（3）、安装elasticsearch# yum install -y elasticsearch（4）、安装测试软件# yum install -y redis# yum install -y nginx（5）、部署配置#

18、 mkdir -p /data/es-dataelk-node1：# vim /etc/elasticsearch/elasticsearch.yml cluster.name: nova #集群名称 node.name: elk-node1 #节点名，建议和主机一致node.master: true #指定该节点是否有资格被选举成为master node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。node.data: false #指定该节点是否存储索引数据，默认为true。 path.data: /data/es-data #数据存

19、放路径 path.logs: /var/log/elasticsearch/ #日志存放文件bootstrap.memory_lock: true #内存锁机制，锁住内存，不被使用到交换分区去 #网络主机访问权限设置http.port: 9200 #web端口elk-node2：# vim /etc/elasticsearch/elasticsearch.yml cluster.name: nova #集群名称 node.name: elk-node2 #节点名，建议和主机一致node.master: false #指定该节点是否有资格被选举成为master node，默认是true，默认集群

20、中的第一台机器为master，如果这台机挂了就会重新选举master。node.data: true #指定本节点为数据存储节点 path.data: /data/es-data #数据存放路径 path.logs: /var/log/elasticsearch/ #日志存放文件bootstrap.memory_lock: true #内存锁机制，锁住内存，不被使用到交换分区去 #网络主机访问权限设置http.port: 9200 #web端口 #多播自动发现禁用开关，当前设置为关闭?# chown -R elasticsearch.elasticsearch /data/（6）、启动服务#

21、/etc/init.d/elasticsearch startStarting elasticsearch: OK # chkconfig elasticsearch on# /etc/init.d/elasticsearch statuselasticsearch (pid 2309) is running.# netstat -antplu| egrep 9200|9300tcp 0 0 :9200 :* LISTEN 2309/java tcp 0 0 :9300 :* LISTEN 2309/java （7）、验证1）、web浏览器访问验证正确。2）、通过命令的方式查看注：即可在本机查

22、看，也可在其他主机查看。HTTP/1.1 200 OK #访问成功Content-Type: application/json; charset=UTF-8Content-Length: 95 count : 0, _shards : total : 0, successful : 0, failed : 0 2.2.2 源码安装（1）、解压安装# cd /usr/local/src# mv elasticsearch-2.4.6 /usr/loca/es（2）、创建es用户及数据目录# groupadd es# useradd -g es es# mkdir -r /data/es-data

23、# chown -R es:es /data/es-data# mkdir -r /var/log/elasticsearch# chown -R es:es /var/log/elasticsearch（3）、es配置# vim /usr/local/es/config/elasticsearch.yml注：配置参数时，需要先设置一个空格，否则启动时会报错。cluster.name: novanode.name: elk-node3node.master: falsenode.data: truepath.data: /data/es-datapath.logs: /data/logs/es

24、path.logs: /data/logs/eshttp.port: 9200（4）、启动源码安装的es不能使用root用户启动，必须使用创建好的普通用户进行启动。# su - es$ /usr/local/es/bin/elasticsearch & 2017-09-29 23:57:38,334WARN bootstrap unable to install syscall filter: seccomp unavailable: CONFIG_SECCOMP not compiled into kernel, CONFIG_SECCOMP and CONFIG_SECCOMP_FILTE

25、R are needed2017-09-29 23:57:38,346WARN bootstrap Unable to lock JVM Memory: error=12,reason=Cannot allocate memory2017-09-29 23:57:38,346WARN bootstrap This can result in part of the JVM being swapped out.2017-09-29 23:57:38,346WARN bootstrap Increase RLIMIT_MEMLOCK, soft limit: 65536, hard limit:

26、655362017-09-29 23:57:38,346WARN bootstrap These can be adjusted by modifying /etc/security/limits.conf, for example: # allow user es mlockall es soft memlock unlimited es hard memlock unlimited2017-09-29 23:57:38,347WARN bootstrap If you are logged in interactively, you will have to re-login for th

27、e new limits to take effect.2017-09-29 23:57:38,704INFO node elk-node3 initializing .2017-09-29 23:57:39,167INFO plugins elk-node3 modules lang-groovy, reindex, lang-expression, plugins , sites 2017-09-29 23:57:39,205INFO env elk-node3 using 1 data paths, mounts / (/dev/mapper/vg_nginx-lv_root), net

28、 usable_space 33.2gb, net total_space 36.8gb, spins? possibly, types ext42017-09-29 23:57:39,205INFO env elk-node3 heap size 1015.6mb, compressed ordinary object pointers true2017-09-29 23:57:39,205WARN env elk-node3 max file descriptors 4096 for elasticsearch process likely too low, consider increa

29、sing to at least 655362017-09-29 23:57:40,645INFO node elk-node3 initialized2017-09-29 23:57:40,645INFO node elk-node3 starting .2017-09-2923:57:40,695INFOdiscoveryelk-node3 nova/DSP41KSoR2C_RdXJNPO4zg显示以上信息表示es启动成功。$ netstat -antplu | grep javatcp 0 0 :9200 :* LISTEN 3375/java tcp 0 0 :9300 :* LIST

30、EN 3375/java 端口已开启。验证：HTTP/1.1 200 OKContent-Type: application/json; charset=UTF-8Content-Length: 98 count : 78, _shards : total : 21, successful : 21, failed : 0 验证正常。2.2.3 head插件安装（1）、方法一：直接安装# /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head安装完成，进行验证。插件安装成功。删除插件：# /usr/share/elasticsearch/bin/plugin listInstalled plugins in /usr/share/elasticsearch/plugins: - head #当前已安装插件# /usr/share/elasticsearch/bin/plugin remove head- Removing head.Removed head #删除成功注：源码安装的es，在安装head插件后，重启会报错。报错信息：解决方案：# vim /usr/local