java flume

很多朋友都想知道java flume是什么？下面就一起來了解一下吧~

Flume是什么

（1）Flume提供一種分布式的，可靠的對大數據的日志進行高效處理，以及聚集，移動的服務，flume只能在Unix的環境下運行。

（2）Flume基于流式框架，容錯性強，也靈活簡單。

（3）Flume/Kafka用來進行數據收集的，Spark,Storm用來實時處理數據，impala用來實時查詢

（4）Flume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸的系統。Flume基于流式架構，靈活簡單。

Flume的兩個版本

（一）Flume OG

OG：“Original Generation"

0.9x或cdh3以及更早的版本。

有agent、collector、master等組件構成。

（二）Flume NG

NG：“Next/New Generation"

1.x或cdh4以及之后的版本。

有Agent/client等組件構成。

FlumeOG存在的問題

（1）Flume OG代碼工程臃腫

（2）核心組件設計不合理

（3）核心配置不標準

（4 ）尤其是在Flume OG的最后一個發行版本0.94.0中，日志傳輸不穩定的現象尤為嚴重。

以上就是小編今天的分享，希望能夠幫到大家。