EFK Stack容器部署

基础环境

安装docker

# curl -sSL http://acs-public-mirror.oss-cn-hangzhou.aliyuncs.com/docker-engine/internet | sh -
# yum install docker-compose
# mkdir -p /etc/docker
# tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://ar4vj99q.mirror.aliyuncs.com"]
}
EOF
# systemctl daemon-reload
# systemctl restart docker

配置docker-compose.yml

# git clone https://github.com/kzk/docker-compose-efk.git

构建EFK环境

# yum install python-pip
# pip install --upgrade pip
# pip install docker-compose
# cd docker-compose-efk/
# vim fluentd/conf/fluent.conf
<source>
  @type syslog
  port 5140
  bind 0.0.0.0
  tag system
</source>
# docker-compose up

验证安装

# curl http://localhost:80/
<html><body><h1>It works!</h1></body></html>

配置Kibana

### web登入http://192.168.200.15:5601

8a450621-cd40-49e4-9009-c32f250d8c83.png

3da3948c-ee66-40ea-b5d5-201836a343e4.png

参考文档

Docker Logging via EFK (Elasticsearch + Fluentd + Kibana) Stack with Docker Compose

转载于:https://www.cnblogs.com/silvermagic/p/7666318.html

三十二、K8S容器日志收集-EFK 首先需要部署 Kafka 和 Logstash 至 Kubernetes 集群,如果企业内已经有比较成熟的技术栈,NOTES:NOTES:配置解析metadata:data:input {kafka {output {} else{需要注意文件中的一些配置:➢ input:数据来源,本次示例配置的是 Kakfa; 阅读详情

相关推荐

从“小白”到“大神”,Docker运维全攻略

通过本文,我们深入了解了 Docker 运维的各个方面。从 Docker 的基础概念和优势,到在不同操作系统上的安装方法,再到常用命令的使用,以及进阶的容器资源优化、日志管理和数据持久化技巧,最后通过实际项目案例看到了 Docker 在生产环境中的应用和挑战应对。Docker 作为容器技术的代表,在未来有着广阔的发展前景。随着云原生技术的不断发展,Docker 将在容器编排工具(如 Kubernetes)的配合下,更加深入地应用于企业级应用开发和部署中。

大雨淅淅的博客 1565

Rancher入门到精通-2.0 项目资源设置limits requests

为了实现资源被有效调度和分配时同时提高资源的利用率, k8s采用request和limit两种限制类型对资源进行分配。 limit/request 限制类型介绍 request 容器使用的最小资源需求, 作为容器调度时资源分配的判断依赖。 只有当前节点上可分配的资源量 >= request 时才允许将容器调度到该节点。 request参数不限制容器的最大可使用资源 limit 容...

隔壁老瓦的专栏 2405

部署Elastic Stack收集Nginx日志

ELK Static部署,并收集Nginx日志。使用Redis作为ES缓存。

夏至ゞ的博客 527

Docker实践(七): EFK Stack搭建日志管理系统

环境说明: 主机名 操作系统版本 IP地址 docker版本 Vmware版本 docker01 Ubuntu 16.04.5 172.27.9.71 18.09.2 12.5.2 ubuntu安装详见:Ubuntu16.04.5以lvm方式安装全记录docker安装详见:Ubuntu16.04安装Dockerdocker-compose安装详见:Docker Compose实...

weixin_33921089的博客 419

Kubernetes部署并管理EFK Stack

k8s部署并管理EFK

一条漂流鱼 1068

ELK Stack入门之部署EFK架构

ELK Stack 入门之EFK

weixin_46546303的博客 3351

efk 生产_如何将EFK堆栈部署到Kubernetes

efk 生产 EFK堆栈简介 (Introduction to EFK stack) When running multiple services and applications on a Kubernetes cluster, a centralized, cluster-level work stack will assist you quickly type through and ana...

weixin_26752759的博客 266

EFK 日志系统收集K8s日志 (一)

一、日志收集的需求背景: ​ • 业务发展越来越庞大,服务器越来越多 ​ • 各种访问日志、应用日志、错误日志量越来越多 ​ • 开发人员排查问题,需要到服务器上查日志,效率低、权限不好控制 ​ • 运维需实时关注业务访问情况 二、容器特性给日志采集带来的难度: ​ • K8s弹性伸缩性:导致不能预先确定采集的目标 ​ • 容器隔离性:容器的文件系统与宿主机是隔离,导致日志采集器读取日志文件受阻 三、应用程序日志记录分为两类: ​ • 标准输出:输出到控制台,使用kubectl

srebro.cn | 运维小弟 1498

K8S实战:从零构建自动化Docker集群运维体系

本文详细介绍了如何从零开始构建基于Kubernetes的自动化Docker集群运维体系。通过kubeadm快速搭建集群,深入解析核心组件与概念,并结合Deployment、Service、HPA等实战演示,实现应用的自动化部署、弹性伸缩与自我修复。文章还探讨了集成CI/CD流水线、监控告警(Prometheus/Grafana)、日志收集(EFK)及持久化存储等生产环境进阶方案,助力运维工作从手工操作迈向全面自动化。

m5n6o7的博客 961

EFK】k8s部署ElasticSearch+Fluentd+Kibana进行日志收集

通过结合Elasticsearch的存储和搜索功能、Fluentd的采集和处理功能以及Kibana的展示和分析功能,开发者可以实现日志的收集、存储、搜索、分析和可视化。在子配置文件中设置时间戳格式,并在子配置文件中定义使用kubernetes插件,根据日志中的pod信息查对应k8s信息,并在日志中增加k8s信息,并配置logstash格式输出。编写yaml创建ES的Service,使用有状态应用StatefulSet创建ES集群,使用NFS做PV,存储ES数据到PV中。Kibana版本:7.2.0。

Marcos921的博客 1343

EFK 收集 K8S 容器日志

文章目录EFK 收集 K8S 容器日志一、ELK简介:二、监控方案三、监控原理四、安装方式五、安装es5.1 搜索helm stable仓库中的elasticsearch 版本5.2 获取 1.28.5 elasticsearch5.3 修改values.yaml文件5.4 elasticsearch 集群角色5.5 elasticsearch 集群安装5.6 观察 release 的状态,pod...

weixin_43423965的博客 3950

Sealos日志管理最佳实践:EFK/PLG stack部署与日志分析

在云原生环境中,日志数据呈现爆发式增长,传统单机日志处理方式面临三大核心痛点:**分散存储导致查询困难**、**非结构化数据难以分析**、**缺乏统一可视化平台**。Sealos作为以应用为中心的智能云操作系统(Cloud Operating System),提供两种主流日志管理解决方案: 1. **EFK Stack**:Elasticsearch + Fluentd + Kibana,适用于...

gitblog_00844的博客 570

Elastic Stack--EFK架构:采集Nginx与Tomcat日志等

部署Nginx服务与Tomcat服务,并使用EFK架构基于各种类型收集原生日志、JSON日志、使用module模块收集日志,实现输出到ES集群、redis、日志落地等

恐龙让Lee的博客 1631

CHOC 与CMake集成:如何在现有项目中无缝引入头文件库

CHOC 是一个轻量级的仅头文件库集合,提供了音频处理、容器、网络等多种基础功能,通过 CMake 可以轻松集成到现有项目中。本文将详细介绍如何在 CMake 项目中配置和使用 CHOC 库,让你快速享受其带来的便利。 ## 🌟 准备工作:获取 CHOC 库 首先需要将 CHOC 库克隆到本地开发环境: ```bash git clone https://gitcode.com/gh_mir

gitblog_00303的博客 880

【Elastic (ELK) Stack 实战教程】01、Elastic Stack 概述

Elastic Stack 概述

GG Bond 的博客 1331

从ELK到EFK

背景 作为中国最大的在线教育站点,目前沪江日志服务的用户包含沪江网校,交易,金融,CCtalk(直播平台) 等多个部门的多个产品的日志搜索分析业务,每日产生的各类日志有好十几种,每天处理约10亿条(1TB)日志,热数据保留最近7天数据,冷数据永久保存。 为什么做日志系统 首先,什么是日志? 日志就是程序产生的,遵循一定格式(通常包含时间戳...

weixin_33749131的博客 1654

k8s 使用EFK来收集控制台日志

fulentd容器使用daemonset来部署,在每个node上都启动一个容器。这个容器通过hostpath挂载到宿主机上来获取宿主机上容器和宿主的日志。然后将日志发送给es-service。由于在 Kubernetes 集群中,我们可能并不需要对所有的机器都采集日志,所以可以更改。使用任意有kube-proxy的节点地址+端口号就能访问。接收fluentd发送来的日志,对日志进行存储。连接es-service,用来展示日志并查询。查看kibana的svc端口号。

weixin_44204737的博客 451

Elastic Stack 概述

文章目录一、Elastic Stack简介三、elasticsearch四、logstash二、Beats五、kibana六、常见架构 一、Elastic Stack简介 “ELK”是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如 Elasticsearch 等“存储库”中。Kibana 则可以让用

weixin_45880055的博客 3545
上一篇: Syslog+Fluentd+InfluxDB日志收集系统搭建
下一篇: 数据库高并发
dcldz5007
博客等级 码龄11年 8粉丝 0原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值