Hadoop
第一章
1、三次信息化浪潮涉及的三个标志：
信息化浪潮
发生时间
标志
解决问题
代表企业
第一次浪潮
1980年前后
个人计算机
信息处理
ntel、AMD、IBM、苹果、微软、联想、戴尔、惠普等
第二次浪潮
1995年前后
互联网
信息传输
雅虎、谷歌、阿里巴巴、百度、腾讯等
第三次浪潮
2010年前后
物联网、云计算和大数据
信息爆炸
Facebook、亚马逊
2、大数据中典型特点：并行计算、分布式系统
3、大数据有哪些特点：数据量大、数据类型繁、处理速度快、价值密度低
4、批处理涉及哪些工具（产品）：流计算、图计算、查询分析
第二章
1、Hadoop是一个开源的分布式计算平台，基于Java语言开发的，Hadoop的核心是分布式文件系统HDFS和MapReduce
2、Hadoop的优点（特性）：（1）高可靠性（2）高效性（3）高可扩展性（4）高容错性（5）成本低（6）运行在Linux平台上（7）支持多种编程语言
3、Pig和Hive之间有什么关系：
（1）Hive是建立在Hadoop上的数据仓库基础架构
（2）Pig是一个基于Hadoop的大规模数据分析平台
4、Hadoop集有哪些节点类型，各节点有什么作用：
（1）NameNode：负责协调集中的数据存储
（2）DataNode：存储被拆分的数据块
（3）JobTracker：协调数据计算任务
（4）TaskTracker：负责执行由JobTracker指派的任务
（5）SecondaryNameNode：帮助NameNode收集文件系统运行的状态信息
第三章HDFS
1、架构（结构）：分布式文件系统在物理结构上是由计算机集中的多个节点构成的，这些节点分为两类，一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode)，另一类叫“从节点”（Slave Node）或者也被称为“数据节点”(DataNode)。
2、HDFS优势（特点，实现目标）：
（1）兼容廉价的硬件设备
（2）流数据读写
（3）大数据集
（4）简单的文件模型
（5）强大的跨平台兼容性
3、HDFS局限性：
（1）不适合低延迟数据访问
（2）无法高效存储大量小文件
（3）不支持多用户写入及任意修改文件
4、“块”默认大小为64MB
5、HDFS采用“块”有什么好处：
（1）支持大规模文件存储：文件以块为单位进行存储，一个大规模文件可以被分拆成若干个文件块，不同的文件块可以被分发到不同的节点上，因此，一个文件的大小不会受到单个节点的存储容量的限制，可以远远大于网络中任意节点的存储容量
（2）简化系统设计：首先，大大简化了存储管理，因为文件块大小是固定的，这样就可以很容易计算出一个节点可以存储多少文件块；其次，方便了元数据的管理，元数据不需要和文件块一起存储，可以由其他系统负责管理元数据
（3）适合数据备份：每个文件块都可以冗余存储到多个节点上，大大提高了系统的容错性和可用性
6、namenode和datanode存储了什么功能
（1）Namenode：负责管理分布式文件系统的命名空间（Namespace），保存了两个核心的数据结构，即FsImage和EditLog。
（2）Datanode：数据节点是分布式文件系统HDFS的工作节点，负责数据的存储和读取，会根据客户端或者是名称节点的调度来进行数据的存储和检索，并且向名称节点定期发送
自己所存储的块的列表，每个数据节点中的数据会被保存在各自节点的本地Linux文件系统中
7、元数据和数据有什么区别：
（1）文件和目录自身的信息
（2）记录文件内容存储的相关信息
（3）记录HDFS中所有DataNode信息
8、FSlmage和Editlog有什么作用：
（1）FsImage：fsimage文件是namenode中关于元数据的镜像，一般称为检查点。它是在整个文件系统的快照。包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等；对于目录来说包括修改时间、访问权限控制信息
（2）EditLog：主要是在Namenode已经启动情况下对HDFS进行的各种更新操作进行记录。
HDFS客户端执行所有的写操作都会被记录到editlog中。
9、为什么有第二名称节点？SecondaryNameNode
用来保存名称节点中对HDFS 元数据信息的备份，并减少名称节点重启的时间。
第四章
1、HBase：是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。
2、HBase与传统的关系数据库的区别：
HBase
传统的关系数据库
数据类型
数据模型
关系模型
数据操作
插入、查询、删除、清空
复杂的多表连接
存储模式
列存储
行模式存储
数据索引
行键
复杂的多个索引
数据维护
生成新的版本，旧有的版本保留
新版本替换旧版本
可伸缩性
轻易地实现性能的伸缩
扩展的空间也比较有限
3、数据坐标：HBase中需要根据行键、列族、列限定符和时间戳来确定一个单元格
4、Region：Region服务器负责存储和维护分配给自己的Region，处理来自客户端的读写请求，客户端并不是直接从Master主服务器上读取数据，而是在获得Region的存储位置信息后，直接从Region服务器上读取数据。Region最佳大小建议1GB-2GB，同一个Region不会被分拆到多个Region服务器，每个Region服务器存储10-1000个Region。元数据表，又名.META.表，存储了Region和Region服务器的映射关系
5、HBase的三层结构：
层次
名称
作用
第一层
Zookeeper文件
记录了-ROOT-表的位置信息
第二层
-ROOT-表
记录了.META.表的Region位置信息；
通过-ROOT-表，就可以访问.META.表中的数据
第三层
.META.表
记录了用户数据表的Region位置信息，
保存了HBase中所有用户数据表的Region位置信息
6、Store工作原理
（1）Store是Region服务器的核心
（2）多个StoreFile合并成一个
（3）单个StoreFile过大时，又触发分裂操作，1个父Region被分裂成两个子Region
7、HLog工作原理：
（1）分布式环境必须要考虑系统出错。HBase采用HLog保证系统恢复
（2）HBase系统为每个Region服务器配置了一个HLog文件，是一种预写式日志
（3）用户更新数据必须首先写入日志后，才能写入MemStore缓存
（4）Zookeeper会实时监测每个Region服务器的状态，当某个Region服务器发生故障时，Zookeeper会通知Master
（5）Master首先会处理该故障Region服务器上面遗留的HLog文件，这个遗留的HLog文件
中包含了来自多个Region对象的日志记录
（6）系统会根据每条日志记录所属的Region对象对HLog数据进行拆分，分别放到相应Region对象的目录下，然后，再将失效的Region重新分配到可用的Region服务器中，并把与该Region对象相关的HLog日志记录也发送给相应的Region服务器
（7）Region服务器领取到分配给自己的Region对象以及与之相关的HLog日志记录以后，会重新做一遍日志记录中的各种操作，把日志记录中的数据写入到MemStore缓存中，然后，刷新到磁盘的StoreFile文件中，完成数据恢复；
（8）共用日志优点：提高对表的写操作性能；缺点：恢复时需要分拆日志
8、HBase常用Shell命令
（1）create：创建表
（2）list：列出HBase中所有的表信息
（3）put：向表、行、列指定的单元格添加数据，一次只能为一个表的一行数据的一个列
添加一个数据
（4）scan：浏览表的相关信息
（5）get：通过表名、行、列、时间戳、时间范围和版本号来获得相应单元格的值
（6）enable/disable：使表有效或无效
（7）drop：删除表
第五章nosql数据库，一定会考
1、NoSQL的四大类型：键值数据库、列族数据库、文档数据库、图形数据库。
2、每类有哪些典型产品优缺点
类型
优点
缺点
相关产品
使用者
键值数据库
扩展性好，灵活性好，大量写操作时性能高
无法存储结构化信息，条件查询效率较低
Redis、Riak
百度云数据库（Redis）
列族数据库
查速度快，可扩展性强，容易进行分布式扩展，复杂性低
功能较少，大都不支持强事务一致性
BigTable、HBase
Ebay（Cassandra）
文档数据库
性能好（高并发），灵活性高，复杂性低，数据结构灵活
缺乏统一的查询语法
MongoDB
redis支持的五种数据类型百度云数据库（MongoDB）
图形数据库
灵活性高，支持复杂的图形算法，可用于构建复杂的关系图谱
复杂性高，只能支持一定的数据规模
Neo4J、
Adobe（Neo4J）
3、当处理CAP的问题时，可以有几个明显的选择：
（1）CA：也就是强调一致性（C）和可用性（A），放弃分区容忍性（P），最简单的做法是把所有与事务相关的内容都放到同一台机器上
（2）CP：也就是强调一致性（C）和分区容忍性（P），放弃可用性（A），当出现网络分区的情况时，受影响的服务需要等待数据一致，因此在等待期间就无法对外提供服务
（3）AP：也就是强调可用性（A）和分区容忍性（P），放弃一致性（C），允许系统返回不一致的数据
4、NoSQL的三大基石：CAP、BASE、最终一致性。
（1）所谓的CAP指的是：
C：一致性，是指任何一个读操作总是能够读到之前完成的写操作的结果
A：可用性，是指快速获取数据，可以在确定的时间内返回操作结果，保证每个请求不管成功或者失败都有响应；
P：分区容忍性，是指当出现网络分区的情况时（即系统中的一部分节点无法和其他节点进行通信），分离的系统也能够正常运行
（2）BASE的基本含义是基本可用、软状态和最终一致性
（3）最常见的实现最终一致性的系统是DNS（域名系统）。
5、一个数据库事务具有ACID四性：
A：原子性，是指事务必须是原子工作单元，对于其数据修改，要么全都执行，要么全都不执行

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。