ELK+Kafka+FileBeat搭建教程.docx

1、ELK+Kafka+FileBeat搭建教程ELK+Kafka+FileBeat搭建教案1、用WinSCP工具上传安装包至服务器，如存放在/data/elk目录下2、解压tar -zxvf elasticsearch-6.8.0.tar.gz tar -zxvf kibana-6.8.0-linux-x86_64.tar.gztar -zxvf filebeat-6.8.0-linux-x86_64.tar.gz tar -zxvf logstash-6.8.0.tar.gz3、Java环境配置下载JDK安装包：wget http:/taiguo.ycznkj.top/files/jdk-8u

2、201-linux-x64.tar.gz解压:tar -zxvf jdk-8u201-linux-x64.tar.gz配置Java环境：vi /etc/profile将光标移到文档最下方（快捷键：shift+g）JAVA_HOME=CLASSPATH=$JAVA_HOME/lib/PATH=$PATH:$JAVA_HOME/binexport PATH JAVA_HOME CLASSPATH4、安装elasticsearch修改配置文件：vi /data/elk/elasticsearch-6.8.0/config/elasticsearch.yml可在文档后面直接加： #服务器ip 本机ne

3、twork.host: 0.0.0.0#服务端口http.port: 9200系统参数调优：vi /etc/sysctl.conf修改如下：vm.max_map_count=655360vi /etc/security/limits.conf修改如下：* soft nofile 65536* hard nofile 65536创建elsearch用户组及elsearch用户groupadd elsearchuseradd elsearch -g elsearch -p elsearch0921更改elasticsearch-6.8.0文件夹及内部文件的所属用户及组为elsearch:elsea

4、rchchown -R elsearch:elsearch /data/elk/elasticsearch-6.8.0切换到elsearch用户再启动su elsearch启动elasticsearch（实际用以后台启动，防止窗口关闭后，应用停止）方式1：/data/elk/elasticsearch-6.8.0/bin/elasticsearch #命令窗运行方式2：/data/elk/elasticsearch-6.8.0/bin/elasticsearch -d #后台线程运行关闭elasticsearchctrl+c #命令窗关闭ps -ef | grep elastic #后台线程关

5、闭kill -9 4442 #pid 4442为查处线程的pid 解决elasticsearch启动常见问题：5、验证elasticsearch启动6、安装kibana修改配置文件vi /data/elk/kibana-6.8.0-linux-x86_64/config/kibana.yml可在文档后面直接加：server.port: 5601 #服务端口server.host: 0.0.0.0 #服务器ip 本机elasticsearch.url: http:/localhost:9200 #elasticsearch服务地址 与elasticsearch对应i18n.locale: zh-

6、CN #页面改为中文#创建用户组elkgroupadd elk#创建elk用户，密码为elk0921useradd elk -g elk -p elk0921#更新文档权限chown -R elk:elk /data/elk/kibana-6.8.0#切换elk用户su elk启动kibana（实际用以后台启动，防止窗口关闭后，应用停止）方式1：/data/elk/kibana-6.8.0-linux-x86_64/bin/kibana #命令窗启动方式2：nohup ./kibana-6.8.0-linux-x86_64/bin/kibana & #后台线程启动关闭kibanactrl+c

7、#命令窗关闭ps -ef | grep kibana #后台线程关闭kill -9 4525 #pid 4525 为查处线程的pid 7、验证kibana启动8、Kafka服务安装Kafka安装包下载：wget http:/taiguo.ycznkj.top/files/kafka_2.12-2.3.1.tgz解缩：tar -zxvf kafka_2.12-2.3.1.tgz目录例如放置于：/data/elk/kafka_2.12-2.3.1#更新文档权限chown -R elk:elk /data/elk/kafka_2.12-2.3.1#切换elk用户su elk启动zookeeper$b

8、in/zookeeper-server-start.sh config/zookeeper.properties 如果没有报错,可以转后台启动$nohup bin/zookeeper-server-start.sh config/zookeeper.properties &启动kafka$ bin/kafka-server-start.sh config/server.properties如果没有报错,可以转后台启动$nohup bin/kafka-server-start.sh config/server.properties &9、验证Kafka服务开启使用命令：netstat -unlt

9、p查看2181、9092端口是否处于监听状态，如果处于监听状态，则说明ZooKeep、Kafka服务开启了。10、安装logstash新建配置文件vi /data/elk/logstash-6.8.0/config/logback-kafka.conf内容如下：（为了防止格式出错，可将上方文档直接复制到/data/elk/logstash-6.8.0/config目录）input kafka bootstrap_servers = 127.0.0.1:9092 topics = es-testlogs codec = json output elasticsearch hosts = loca

10、lhost:9200 stdout codec = rubydebug安装logstash的插件：cd /data/elk/logstash-6.8.0/bin./logstash-plugin install logstash-codec-json_lines#更新目录权限chown -R elk:elk /data/elk/logstash-6.8.0#切换elk用户su elk启动logstash-6.8.0cd /data/elk/logstash-6.8.0/bin./logstash -f ./config/logback-kafka.conf至此logstash安装完成。11、f

11、ilebeat安装与配置修改filebeat的配置文件filebeat.ymla、在如下paths位置修改目录，配置成所要抓取的日志b、在Elasticsearch output 将默认的elSearch输出配置注释掉，如下图：c、在Outputs 下面添加 如下配置，将日志内容传输到Kafka服务output.kafka: enable: true hosts: 127.0.0.1:9092 topic: es-testlogs compression: gzip max_message_bytes: 100000启动filebeat./filebeat -e -c filebeat.yml12、在kibana操作：以上平台都搭建好以后在kibana上创建index索引如果有日志进来就可查看，可通过右上角选择日期范围。