Docker系列(六) docker环境下安装flume 实现logs+flume+kafka日志采集镜像安装

关注

VIP免费原创最新推荐文章于 2026-08-08 16:51:04 发布 7.2k 阅读 AI 写同款· GEO 优化 ›

基于 Docker 部署 Flume 应用前言本文目的在于通过 flume、zookeeper、kafka、docker 搭建基本的日志采集系统，实现日志的采集并将数据发送至 Kafka。搭建前，需确保已安装以下组件： JDK 8 Flume Zookeeper Kafka Docker 同时需确保已掌握以下技能：能在本地部署并成功启动 Flume，且了解 Flume 的核心概念 source、channel、sink 能基本使用 Zookeeper，了解节点的创建、更新、查看与删除能基本使用 Kafka，了解 topic 的概念，实阅读详情

以下均为生产环境下亲测使用如有出入请私信梁工

一、安装flume

1、docker中查看镜像
docker search flume
在这里插入图片描述
2、pull 新版稳定 flume2.0.0
docker pull probablyfine/flume:2.0.0
3、创建一个flume文件夹里面包含 conf logs

conf : 文件夹下放我们写的配置文件 sources channel sink
logs : 对容器内的logs在本地做映射

以下为从log文件中实时监控进行采集到kafka中

$   vi   los-flume-kakfa.conf 

# Name the components on this agent
app.sources = r1
app.channels = c1

# Describe/configure the source
app.sources.r1.type = exec
app.sources.r1.command = tail -F  /tmp/test_logs/app.log
app.sources.r1.channels = c1


# Use a channel which buffers eve