Flume学习笔记---What is Flume？

Flume的工作原理

Flume的工作原理

概述

1.flume是Cloudera公司开发，后来贡献给了apache，是一套分布式的，可靠的用于 日志的收集、汇聚和传输的系统。
2.flume的版本：
flume0.x：flume-og
flume1.x:flume-ng。 og与ng之间不兼容。
3.Flume是Hadoop生态圈的一员。

基本概念

• Event ：

			- a.将收集的每一条日志封装成了一份Event对象，一个Event就是一条日志。		 
			 - b.Event本质上就是一个json串
			 - c.由headers和body组成`

• Agent :一个节点就是一个Agent

   	 - a.  Source:负责从数据源采集数据 	包括avro、exec、spooling、netcat、sequence、http等
   	 - b. Channel:临时存储数据,是一个缓冲区 	简单缓存数据，可以存放在memory，file，jdbc等
   	 - c. Sink:将数据发往目的地目的地包括hdfs、logger、avro、file、hbase、自定义等
  

Flume的运行机制

单级流动

Agent中由Source接收数据，将数据暂存到Channel缓冲区，再将数据传递给 Sink；最终将数据保存到hdfs/avro/file等

多级流动（多个Agent的数据流动）

1、Agent中由Source接收数据，将数据暂存到Channel缓冲区，再将数据传递给 Sink；
2、Sink将数据传输到下一个Agent节点，重复 1 过程；
3、最终将数据保存到hdfs/avro/file等

扇入流动(多个Agent接收数据，发送到一个Agent)

每个source分别从各自的数据源获取日志数据，将数据发送给各自绑定的channel中进行缓存，
再分别发送到各自绑定的sink中；
每个sink绑定相同的Source；再次重复数据传递；最终到达目的地

扇出流动（一个Agent接收数据，将其数据发送到多个Agent）

扇出与扇入过程相反，最终由各自的sink发送到各自对应的目的地中；

总结：Flume在大数据的体系中是数据输出层，数据的来源主要是文件日志，半结构化数据。
数据的传输的目的地往往是HDFS等进行资源存储。