efk搭建收集日志（超详细！）

关注

原创最新推荐文章于 2025-08-27 18:36:14 发布 2.9k 阅读 AI 写同款· GEO 优化 ›

在 Kubernetes 上搭建 EFK 日志收集系统 Kubernetes 中比较流行的日志收集解决方案是 Elasticsearch、Fluentd 和 Kibana（EFK）技术栈，也是官方现在比较推荐的一种方案。Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。阅读详情

三台虚拟机
环境：运行内存跟内核个数都是2G
centos7
192.168.10.131:jdk,zookeeper,kafka,filebeat，elasticsearch
192.168.10.132:jdk,zookeeper,kafka,logstash
192.168.10.133:jdk,zookeeper,kafka,kibana

从第一步开始三台都要做相同操作

1：时间同步

[root@localhost ~]# ntpdate pool.ntp.org 在这里插入图片描述

2：关闭防火墙

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0 在这里插入图片描述

3：修改主机名（按照顺序修改，也没什么用，就是方便看）

[root@localhost ~]# hostnamectl set-hostname kafka1
[root@localhost ~]# hostnamectl set-hostname kafka02
[root@localhost ~]# hostnamectl set-hostname kafka03

4：修改hosts文件

在这里插入图片描述

5：安装jdk

[root@kafka03 src]# rpm -ivh jdk-8u131-linux-x64_.rpm 在这里插入图片描述

6：安装zookeeper

[root@kafka01 src]# tar xzf zookeeper-3.4.14.tar.gz
mv zookeeper-3.4.14 /usr/local/zookeeper 在这里插入图片描述 cd /usr/local/zookeeper/conf/
mv zoo_sample.cfg zoo.cfg

编辑zoo.cfg 在这里插入图片描述
最后一行
server.1=192.168.172.131:2888:3888
server.2=192.168.172.132:2888:3888
server.3=192.168.172.133:2888:3888

7:创建data目录

mkdir /tmp/zookeeper 在这里插入图片描述

8：配置myid（各自配置自己的）

echo “1” > /tmp/zookeeper/myid （131）
echo “2” > /tmp/zookeeper/myid （132）
echo “3” > /tmp/zookeeper/myid （133）

9：运行zk服务

/usr/local/zookeeper/bin/zkServer.sh start 在这里插入图片描述
/usr/local/zookeeper/bin/zkServer.sh status
一个leader
两个follower

11：安装kafka

tar zxvf kafka_2.11-2.2.0.tgz
mv kafka_2.11-2.2.0 /usr/local/kafka 在这里插入图片描述

12 ：编辑

vim /usr/local/kafka/config/server.properties

broker.id=分别为0,1,2
advertised.listeners=PLAINTEXT://（主机名kafka01,kafka02,kafk03）:9092
zookeeper.connect=192.168.172.131:2181,192.168.172.132:2181,192.168.172.133:2181 在这里插入图片描述

13:启动kafka

/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
验证：
[root@kafka03 src]# netstat -lptnu|grep 9092
tcp6 0 0 :::9092 ::😗 LISTEN 9814/java 在这里插入图片描述

14：创建一个topic（这里只是模拟测试有没有问题，不影响之后的收集日志 14.15.16一台机子一条命令）

[root@kafka01 logs]# /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.172.131:2181 --replication-factor 2 --partitions 3 --topic wg007 在这里插入图片描述

15：模拟生产者：
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.172.131:9092 --topic wg001 在这里插入图片描述
16：模拟消费者：/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.172.131:9092 --topic wg007 --from-beginning
在生产者输入，消费者会自动输出内容

这样就没问题了
16.2 查看当前的topic
[root@kafka02 bin]# /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.172.131:2181 在这里插入图片描述

17:安装filebeat（收集日志的）现在开始，各自做各自的！！

[root@kafka01 src]# rpm -ivh filebeat-6.8.12-x86_64.rpm 在这里插入图片描述
18：编辑filebeat.yaml

[root@kafka01 filebeat]# cat filebeat.yml
filebeat.inputs:

type: log
enabled: true
paths:
- /var/log/messages

output.kafka:
enabled: true
hosts: [“192.168.10.131:9092”,“192.168.172.132:9092”,“192.168.172.133:9092”]
topic: msg 在这里插入图片描述

19: 安装logstash
[root@kafka02 ELK]# rpm -ivh logstash-6.6.0.rpm
vim /etc/logstash/conf.d/msg.conf
input{
kafka{
bootstrap_servers => [“192.168.172.131:9092,192.168.172.132:9092,192.168.172.133:9092”]
group_id => “logstash”
topics => “msg”
consumer_threads => 5
}
}

output{
elasticsearch {
hosts => “192.168.172.131:9200”
index => “msg-%{+YYYY.MM.dd}”
}
} 在这里插入图片描述

20：安装elasticsearch

[root@localhost elasticsearch]# cat elasticsearch.yml |grep -v “^#”
cluster.name: huazai007
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.10.130
http.port: 9200 在这里插入图片描述

curl -X GET http://192.168.172.131:9200/_cat/indices?v
21：安装kibana
rpm -ivh kibana-6.6.2-x86_64.rpm