Flume Flume OG https github comclouderaflume http archive

Flume基本概念 • Flume OG已经不再进行版本更新 • 参考网址： Ø https: //github. com/cloudera/flume Ø http: //archive. cloudera. com/cdh/3/flume/Use r. Guide/ Ø http: //smartmessage. iteye. com/blog/1464075

Flume核心组件-Source • Flume Source : 完成对日志数据的收集，分 成transtion 和 event 打入到channel之中。 • Flume提供了各种source的实现，包括Avro Source、Exce Source、Spooling Directory Source、Net. Cat Source、Syslog Source、 Syslog TCP Source、Syslog UDP Source、HTTP Source、HDFS Source，etc。

Flume核心组件-Sink • Flume Sink取出Channel中的数据，进行相应 的存储文件系统，数据库，或者提交到远 程服务器。 • Flume也提供了各种sink的实现，包括HDFS sink、Logger sink、Avro sink、File Roll sink、 Null sink、HBase sink，etc。

Flume核心组件-Channel • Flume Channel主要提供一个队列的功能， 对source提供中的数据进行简单的缓存。 • Flume对于Channel，则提供了Memory Channel、JDBC Chanel、File Channel，etc。