很多朋友都想知道java flume是什么?下面就一起来了解一下吧~
Flume是什么
(1)Flume提供一种分布式的,可靠的对大数据的日志进行高效处理,以及聚集,移动的服务,flume只能在Unix的环境下运行。
(2)Flume基于流式框架,容错性强,也灵活简单。
(3)Flume/Kafka用来进行数据收集的,Spark,Storm用来实时处理数据,impala用来实时查询
(4)Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。
Flume的两个版本
(一)Flume OG
OG:“Original Generation"
0.9x或cdh3以及更早的版本。
有agent、collector、master等组件构成。
(二)Flume NG
NG:“Next/New Generation"
1.x或cdh4以及之后的版本。
有Agent/client等组件构成。
FlumeOG存在的问题
(1)Flume OG代码工程臃肿
(2)核心组件设计不合理
(3)核心配置不标准
(4 )尤其是在Flume OG的最后一个发行版本0.94.0中,日志传输不稳定的现象尤为严重。
以上就是小编今天的分享,希望能够帮到大家。