分布式⽂件系统----基础
⽂件系统
计算机的每⼀个磁盘就是由⼀个⽂件系统管理
分布式⽂件系统
分布式⽂件系统(Distributed File System)是指⽂件系统管理的物理存储资源不⼀定直接连接在本地节点上,⽽是通过计算机⽹络与节点相连。分布式⽂件系统的设计基于客户机服务器模式。⼀个典型的⽹络可能包括多个供多⽤户访问的服务器。另外,对等特性允许⼀些系统扮演客户机和服务器的双重⾓⾊。例如,⽤户可以“发表”⼀个允许其他客户机访问的⽬录,⼀旦被访问,这个⽬录对客户机来说就像使⽤本地驱动器⼀样,下⾯是三个基本的分布式⽂件系统。
NFS(⽹络⽂件系统)
NFS(Network File System)即⽹络⽂件系统,是FreeBSD⽀持的⽂件系统中的⼀种,它允许⽹络中的计算机之间通过TCP/IP⽹络共享资源。在NFS的应⽤中,本地NFS的客户端应⽤可以透明地读写位于远端NFS服务器上的⽂件,就像访问本地⽂件⼀样。
使⽤
在客户端上映射NFS服务器的驱动器。
客户端通过⽹络访问NFS服务器的硬盘完全透明。
GFS(googleFs)
GFS是⼀个可扩展的分布式⽂件系统,⽤于⼤型的、分布式的、对⼤量数据进⾏访问的应⽤。它运⾏于廉价的普通硬件上,可以提供容错功能。它可以给⼤量的⽤户提供总体性能较⾼的服务。
1)GFS采⽤主从结构,⼀个GFS集由⼀个master和⼤量的chunkserver组成。
server系统和普通系统的区别2)master存储了数据⽂件的元数据,⼀个⽂件被分成了若⼲块存储在多个chunkserver中。
3)⽤户从master中获取数据元信息,从chunkserver存储数据。
HDSF
Hadoop分布式⽂件系统(HDFS)被设计成适合运⾏在通⽤硬件(commodity hardware)上的分布式⽂件系统。它和现有的分布式⽂件系统有很多共同点。但同时,它和其他的分布式⽂件系统的区别也是很明显的。HDFS是⼀个⾼度容错性的系统,适合部署在廉价的机器上。HDFS能提供⾼吞吐量的数据访
问,⾮常适合⼤规模数据集上的应⽤。HDFS放宽了⼀部分POSIX约束,来实现流式读取⽂件系统数据的⽬的。HDFS在最开始是作为Apache Nutch搜索引擎项⽬的基础架构⽽开发的。HDFS是Apache Hadoop Core项⽬的⼀部分。
1)HDFS采⽤主从结构,⼀个HDFS集由⼀个名称结点和若⼲数据结点组成。名称结点存储数据的元信息,⼀个完整的数据⽂件分成若⼲块存储在数据结点。
2)客户端从名称结点获取数据的元信息及数据分块的信息,得到信息客户端即可从数据块来存取数据。
分布式⽂件服务提供商
1、阿⾥的OSS
2、七⽜云存储
3、百度云存储
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论