flume taidir to kafkasink

weixin_30809333

墨衍会员 · AI 创作全网分发码龄11年

关注

转载最新推荐文章于 2025-08-20 17:13:29 发布 194 阅读 AI 写同款· GEO 优化 ›

flume的数据源采用taiDir，sink类型选择kafka类型

测试目标：flume监控某一个目录的日志文件，并将文件存储到kafka中，在kafka的消费端可以实现数据的消费

dip005、dip006、dip007安装kafka

dip005、dip006、dip007安装flume

1、kafka创建topic

./kafka-topics.sh --create --zookeeper dip005:2181,dip006:2181,dip007 --replication-factor 1 --partitions 1 --topic test

2、编写flume配置

# source的名字
agent.sources = s1
agent.channels = c1
agent.sinks = r1

# 指定source使用的channel
agent.sources.s1.channels = c1
agent.sinks.r1.channel = c1

######## source相关配置 ########
# source类型
agent.sources.s1.type = TAILDIR
agent.sources.s1.positionFile = /flume/taildir_position.json
agent.sources.s1.filegroups = f1
agent.sources.s1.filegroups.f1=/flume/data/.*log
agent.sources.s1.fileHeader = true

######## channel相关配置 ########
# channel类型
#agent.channels.c1.type = file
#agent.channels.c1.dataDirs = /Users/wangpei/tempData/flume/filechannle/dataDirs
#agent.channels.c1.checkpointDir = /Users/wangpei/tempData/flume/filechannle/checkpointDir
#agent.channels.c1.capacity = 1000
#agent.channels.c1.transactionCapacity = 100


agent.channels.c1.type = memory
agent.channels.c1.capacity = 1000
agent.channels.c1.transactionCapacity = 100


######## sink相关配置 ########
# sink类型
agent.sinks.r1.type = org.apache.flume.sink.kafka.KafkaSink
agent.sinks.r1.brokerList = dip005:9092,dip006:9092,dip007:9092
agent.sinks.r1.topic = test
clog.sinks.sink_log1.flumeBatchSize = 2000
clog.sinks.sink_log1.kafka.producer.acks = 1

3.启动flume

./bin/flume-ng agent -n agent -c conf -f conf/taildir_conf  -Dflume.root.logger=DEBUG,console

4.在监控目/flume/data 里放入*log文件，或者往*log文件里写数据

5.进入kafka的消费者看，执行消费，即可看到*log里面的数据

./kafka-console-consumer.sh --bootstrap-server dip005:9092 --from-beginning --topic test

转载于:https://www.cnblogs.com/students/p/10537392.html

本内容遵循 CC 4.0 BY-SA 版权协议

原文链接：http://www.cnblogs.com/students/p/10537392.html>

记录一下flume中因为taildir_position.json因位置不对导致数据无法从kafka被采到hdfs上的问题最后发现是我的taildir_position.json之前在/opt/module/flume/jobs/collectionProject路径下（4.JSONObject.class（flume/lib中也已经导入），我需要用flume将kafka上的数据采集到hdfs上，发现数据怎么到不了hdfs。），导致flume读不到这个文件的位置，所以无法从kafka将数据读到hdfs。MySQL数据库的增量数据已从kafka成功同步到hdfs~2.我的flume配置文档（没问题），3.时间拦截器（没问题），阅读详情

flume taidir to kafkasink

相关推荐