ELK+Kafka+FileBeat搭建教程.docx
《ELK+Kafka+FileBeat搭建教程.docx》由会员分享，可在线阅读，更多相关《ELK+Kafka+FileBeat搭建教程.docx（10页珍藏版）》请在冰豆网上搜索。
ELK+Kafka+FileBeat搭建教程
ELK+Kafka+FileBeat搭建教案
1、用WinSCP工具上传安装包至服务器，如存放在/data/elk目录下
2、解压
tar-zxvfelasticsearch-6.8.0.tar.gz
tar-zxvfkibana-6.8.0-linux-x86_64.tar.gz
tar-zxvffilebeat-6.8.0-linux-x86_64.tar.gz
tar-zxvflogstash-6.8.0.tar.gz
3、Java环境配置
下载JDK安装包：
wgethttp:
//taiguo.ycznkj.top/files/jdk-8u201-linux-x64.tar.gz
解压:
tar-zxvfjdk-8u201-linux-x64.tar.gz
配置Java环境：
vi/etc/profile
将光标移到文档最下方（快捷键：
shift+g）
JAVA_HOME=
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:
$JAVA_HOME/bin
exportPATHJAVA_HOMECLASSPATH
4、安装elasticsearch
修改配置文件：
vi/data/elk/elasticsearch-6.8.0/config/elasticsearch.yml
可在文档后面直接加：
#服务器ip本机
network.host:
0.0.0.0
#服务端口
http.port:
9200
>系统参数调优：
vi/etc/sysctl.conf
修改如下：
vm.max_map_count=655360
vi/etc/security/limits.conf
修改如下：
*softnofile65536
*hardnofile65536
>创建elsearch用户组及elsearch用户
groupaddelsearch
useraddelsearch-gelsearch-pelsearch0921
更改elasticsearch-6.8.0文件夹及内部文件的所属用户及组为elsearch:
elsearch
chown-Relsearch:
elsearch/data/elk/elasticsearch-6.8.0
切换到elsearch用户再启动
suelsearch
启动elasticsearch（实际用以后台启动，防止窗口关闭后，应用停止）
方式1：
/data/elk/elasticsearch-6.8.0/bin/elasticsearch#命令窗运行
方式2：
/data/elk/elasticsearch-6.8.0/bin/elasticsearch-d#后台线程运行
关闭elasticsearch
ctrl+c#命令窗关闭
ps-ef|grepelastic#后台线程关闭
kill-94442##pid4442为查处线程的pid
解决elasticsearch启动常见问题：
5、验证elasticsearch启动
6、安装kibana
修改配置文件
vi/data/elk/kibana-6.8.0-linux-x86_64/config/kibana.yml
可在文档后面直接加：
server.port:
5601##服务端口
server.host:
"0.0.0.0"##服务器ip本机
elasticsearch.url:
"http:
//localhost:
9200"##elasticsearch服务地址与elasticsearch对应
i18n.locale:
zh-CN##页面改为中文
#创建用户组elk
groupaddelk
#创建elk用户，密码为elk0921
useraddelk-gelk-pelk0921
#更新文档权限
chown-Relk:
elk/data/elk/kibana-6.8.0
#切换elk用户
suelk
启动kibana（实际用以后台启动，防止窗口关闭后，应用停止）
方式1：
/data/elk/kibana-6.8.0-linux-x86_64/bin/kibana#命令窗启动
方式2：
nohup./kibana-6.8.0-linux-x86_64/bin/kibana&#后台线程启动
关闭kibana
ctrl+c#命令窗关闭
ps-ef|grepkibana#后台线程关闭
kill-94525##pid4525为查处线程的pid
7、验证kibana启动
8、Kafka服务安装
Kafka安装包下载：
wgethttp:
//taiguo.ycznkj.top/files/kafka_2.12-2.3.1.tgz
解缩：
tar-zxvfkafka_2.12-2.3.1.tgz
目录例如放置于：
/data/elk/kafka_2.12-2.3.1
#更新文档权限
chown-Relk:
elk/data/elk/kafka_2.12-2.3.1
#切换elk用户
suelk
>启动zookeeper
$bin/zookeeper-server-start.shconfig/zookeeper.properties
如果没有报错,可以转后台启动
$nohupbin/zookeeper-server-start.shconfig/zookeeper.properties&
>启动kafka
$bin/kafka-server-start.shconfig/server.properties
如果没有报错,可以转后台启动
$nohupbin/kafka-server-start.shconfig/server.properties&
9、验证Kafka服务开启
使用命令：
netstat-unltp
查看2181、9092端口是否处于监听状态，如果处于监听状态，则说明ZooKeep、Kafka服务开启了。
10、安装logstash
新建配置文件
vi/data/elk/logstash-6.8.0/config/logback-kafka.conf
内容如下：
（为了防止格式出错，可将上方文档直接复制到/data/elk/logstash-6.8.0/config目录）
input{
kafka{
bootstrap_servers=>"127.0.0.1:
9092"
topics=>["es-testlogs"]
codec=>json
}
}
output{
elasticsearch{
hosts=>"localhost:
9200"
}
stdout{
codec=>rubydebug
}
}
>安装logstash的插件：
cd/data/elk/logstash-6.8.0/bin
./logstash-plugininstalllogstash-codec-json_lines
#更新目录权限
chown-Relk:
elk/data/elk/logstash-6.8.0
#切换elk用户
suelk
>启动logstash-6.8.0
cd/data/elk/logstash-6.8.0/bin
./logstash-f../config/logback-kafka.conf
至此logstash安装完成。
11、filebeat安装与配置
修改filebeat的配置文件filebeat.yml
a、在如下paths位置修改目录，配置成所要抓取的日志
b、在Elasticsearchoutput将默认的elSearch输出配置注释掉，如下图：
c、在Outputs下面添加如下配置，将日志内容传输到Kafka服务
output.kafka:
enable:
true
hosts:
["127.0.0.1:
9092"]
topic:
es-testlogs
compression:
gzip
max_message_bytes:
100000
启动filebeat
./filebeat-e-cfilebeat.yml
12、在kibana操作：
以上平台都搭建好以后在kibana上创建index索引
如果有日志进来就可查看，可通过右上角选择日期范围。
升级会员 