旁搜博采——F l u m e @八斗学院
O u t L i n e
Flume简介
Flume Core
【实践】搭建基于Flume日志收集系统
简介
•Apache软件基金顶级项目
•Apache Flume是一个分布式、可信任的弹性系统，用于高效收集、汇聚和移动大规模日志信息从多种不同的数据源到一个集中的数据存储中心•功能：
–支持在日志系统中定制各类数据发送方，用于收集数据
–Flume提供对数据进行简单处理，并写道各种数据接收方（可定制）的能力•多种数据源：
–Console、RPC、Text、Tail、Syslog、Exec等
简介
特点
•Flume可以高效率的将多个网站服务器中收集的日志信息存入HDFS/HBase中•使用Flume，我们可以将从多个服务器中获取的数据迅速的移交给Hadoop中•除了日志信息，Flume同时也可以用来接入收集规模宏大的社交网络节点事件数据，比如facebook,twitter，电商网站如亚马逊，flipkart等
•支持各种接入资源数据的类型以及接出数据类型
•支持多路径流量，多管道接入流量，多管道接出流量，上下文路由等
正则匹配一个或连续多个
•可以被水平扩展

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。