CDH简单介绍及体系架构nginx和apache区别
1、官⽹介绍:
CDH是Cloudera的100％开源平台发⾏版，包括Apache Hadoop，专为满⾜企业需求⽽构建。CDH提供开箱即⽤的企业使⽤所需的⼀切。通过将Hadoop与⼗⼏个其他关键的开源项⽬集成，Cloudera创建了⼀个功能先进的系统，可帮助您执⾏端到端的⼤数据⼯作流程。
简单来说：CDH 是⼀个拥有集⾃动化安装、中⼼化管理、集监控、报警功能的⼀个⼯具（软件），使得集的安装可以从⼏天的时间缩短为⼏个⼩时，运维⼈数也会从数⼗⼈降低到⼏个⼈，极⼤的提⾼了集管理的效率。
2、为什么选择CDH部署Cluster
1）CDH基于稳定版Apache Hadoop，并应⽤最新Bug修复或者Feature的Patch
2）Cloudera官⽹上安装、升级⽂档⼗分详细
3）CDH⽀持Yum包、tar包、RPM包，Cloudera Manager四种安装⽅式。推荐使⽤Yum、Apt⽅式安装
对于CDH的安装，后期我会分别使⽤yum和Cloudera Manager两种⽅式进⾏安装。在这⾥先说下Cloudera Manager的功能。
3、Cloudera Manager的功能
1）管理：对集进⾏管理，例如添加、删除节点等操作
2）监控：监控集的健康情况，对设置的各种指标和系统的具体运⾏情况进⾏全⾯的监控
3）诊断：对集出现的各种问题进⾏诊断，并且给出建议和解决⽅案
4）集成：多组件可以进⾏版本兼容间的整合
4、CDH架构图
当然以上所画图只是⼀些基础，还有很多⼤数据组件没有画。
下⾯对图中体系结构做些简单说明：
> 数据整合
flume主要是⽇志采集组件，可以从tomcat服务⽇志或者nginx⽇志中获取产⽣的⽇志
sqoop主要⽤于在Hadoop(Hive)与传统的数据库(mysql、)间进⾏数据的传递，可以将⼀个关系型数据库（例如 ：MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
nfs是FreeBSD⽀持的⽂件系统中的⼀种，它允许⽹络中的计算机之间通过TCP/IP⽹络共享资源。在NFS的应⽤中，本地NFS的客户端应⽤可以透明地读写位于远端NFS服务器上的⽂件，就像访问本地⽂件⼀样。
> HDFS
hdfs是⼀个分布式⽂件存储系统，可以将⼤量的⼤⽂件进⾏存储，它和其他的分布式⽂件系统的主要区别是它是⼀个⾼容错的系统，适合部署在廉价的机器上，并且hdfs能提供⾼吞吐量的数据访问，⾮常适合⼤规模数据集上的应⽤。
> Hbase
官⽹解释:
当您需要对⼤数据进⾏随机，实时读/写访问时，请使⽤Apache HBase™。该项⽬的⽬标是托管⾮常⼤的表 - 数⼗亿⾏X百万列 - 在商品硬件集上。Apache HBase是⼀个开源的，分布式的，版本化的⾮关系数据库，模仿Google的 Chang等⼈的。正如Bigtable利⽤Google⽂件系统提供的分布式数据存储⼀样，Apache HBase在Hadoop和HDFS之上提供类似Bigtable的功能。
Hbase的结构图我先贴出来，以后我会详细通过⼀篇博客进⾏介绍
现在⽣产环境下，如果做实时SQL分析的话,⼀般不会直接在hbase中使⽤SQL进⾏查询,⽽是结合另⼀种⼯具Kylin。
kylin官⽹解释：
Apache Kylin™是⼀个开源的分布式分析引擎，提供Hadoop之上的SQL查询接⼝及多维分析（OLAP）能⼒以⽀持超⼤规模数据，最初由eBay Inc.开发并贡献⾄开源社区。
kylin完全是由我们中国开发⼈员进⾏开发的，并且现在已经成为Apache的顶级项⽬，使⽤kylin可以提⾼相同SQL在hive或者hbase中查询的速度数⼗倍，具体kylin相关知识，后⾯通过博客介绍。
--------------------------------------------------------------------------------------------------------------------------------------------------------------------
⽤⼈品去感动别⼈，⽤改变去影响别⼈，⽤状态去燃烧别⼈，⽤⾏动去带动别⼈，⽤阳光去照耀别⼈，⽤坚持去赢得别⼈，要求⾃⼰每天都去做与⽬标有关的事情，哪怕每天只进步⼀点点，坚持下来你就是最优秀卓越的！欢迎⼤家加⼊⼤数据交流：725967421    ⼀起交流，⼀起进步！！
---------------------------------------------------------------------------------------------------------------------------------------------------------------------

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。