⼤数据基本知识汇总
1. Hadoop是什么？
Hadoop是存储海量数据和分析海量数据的⼯具
Hadoop是专为离线和⼤规模数据分析⽽设计的，并不适合那种对⼏个记录随机读写的在线事务处理模式。
2. Hadoop核⼼概念
Hadoop是由java语⾔编写的，在分布式服务器集上存储海量数据并运⾏分布式分析应⽤的开源框架，其核⼼部件
是HDFS与MapReduce、Yarn。
HDFS是⼀个分布式⽂件系统：引⼊存放⽂件元数据信息的服务器Namenode（数据索引）和实际存放数据的服务器Datanode（数据实体），对数据进⾏分布式储存和读取。
MapReduce是⼀个计算框架：MapReduce的核⼼思想是把计算任务分配给集内的服务器⾥执⾏。通过对计算任务的拆分（Map计
算/Reduce计算），再根据任务调度器（JobTracker）对任务进⾏分布式计算。
HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
HDFS可以理解为⼀个分布式的，有冗余备份的，可以动态扩展的⽤来存储⼤规模数据的⼤硬盘。
MapReduce可以理解成为⼀个计算引擎，按照MapReduce的规则编写Map计算/Reduce计算的程序，可以完成计算任务。
3. 功能了解
Hadoop：是⼀个分布式计算的开源框架
HDFS：是Hadoop的三⼤核⼼组件之⼀，分布式存储系统，负责海量数据的存储
Hbase：是⼀款基于HDFS的数据库，是⼀种NoSQL数据库，主要适⽤于海量明细数据（⼗亿、百亿）的随机实时查询，如⽇志明细、交易清单、轨迹⾏为等，它的数据可以存储在HDFS上。
Sqoop：主要⽤于和传统数据库（mysql、oracle等）之间进⾏数据交换。
Spark：是⼀个基于内存计算的开源的集计算系统，⽬的是让数据分析更加快速。
Phoenix：Phoenix在Hbase上构建了⼀层关系型数据库。可以⽤SQL来查询Hbase数据库，Phoenix借鉴了很多关系型数据库优化查询的⽅法，将这些⽅法⽤在Hbase上，让Hbase更⽅便使⽤。
Flume：是Cloudera提供的⼀个⾼可⽤的，⾼可靠的，分布式的海量⽇志采集、聚合和传输的系统，Flume⽀持在⽇志系统中定制各类数据发送⽅，⽤于收集数据。
4. Mesos
Mesos：是⼀个集管理平台hbase主要用来储存什么数据

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。