java flume

作者:原创时间:2022-03-30
文档

很多朋友都想知道java flume是什么?下面就一起来了解一下吧~

Flume是什么

(1)Flume提供一种分布式的,可靠的对大数据的日志进行高效处理,以及聚集,移动的服务,flume只能在Unix的环境下运行。

(2)Flume基于流式框架,容错性强,也灵活简单。

(3)Flume/Kafka用来进行数据收集的,Spark,Storm用来实时处理数据,impala用来实时查询

(4)Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。

Flume的两个版本

(一)Flume OG

OG:“Original Generation"

0.9x或cdh3以及更早的版本。

有agent、collector、master等组件构成。

(二)Flume NG

NG:“Next/New Generation"

1.x或cdh4以及之后的版本。

有Agent/client等组件构成。

FlumeOG存在的问题

(1)Flume OG代码工程臃肿

(2)核心组件设计不合理

(3)核心配置不标准

(4 )尤其是在Flume OG的最后一个发行版本0.94.0中,日志传输不稳定的现象尤为严重。

以上就是小编今天的分享,希望能够帮到大家。

显示全文
java ear java foreach循环 java fork java ecc加密 java formatter java echarts java ehcache java email java empty java encapsulation java future java generator java enhancer java generic java enterprise java environment java epoll java error java escape java event java dynamic java dto java drools java flink java dowhile java flatmap java findfirst java fileinputstream java file.exists() java dockerfile java field获取值 java field java divide java feign java fastjson java dict java development java fastdfs java dev java dependency