【ceph】ceph发展历史、组织和前景、整体架构
国内⽤户⽣态
Ceph作为全球最⽕热的开源分布式存储项⽬，同样在中国的发展也是⾮常⽕热，不断开始在不同领域不同⾏业及客户系统相融合。典型应⽤在国内⼀线互联⽹公司以及运营商、政府、⾦融、⼴电、能源、游戏、直播等⾏业。
数据库系统概论期末考试简答题当前中国Ceph形势对⽐前⼏年已经发⽣了决定性的变化，随着国内越来越多的各⾏业⽤户的使⽤，⾜以见证它的稳定性可靠性。
Ceph中国⽤户⽣态已然形成，可以看到国内如：中国移动、腾讯、阿⾥、⽹易、乐视、携程、今⽇头条、中国电信、中兴、恒丰银⾏、平安科技、YY、B站、360等。正是由于众多⽤户的使⽤验证了它的稳定性和可靠性的同时也促进了Ceph的进步，使其出现了很多新东西，如 SPDK、BlueStore、RDMA等等这些⾼性能底层技术。
Ceph国内贡献
Ceph社区的贡献者是 Ceph 的使⽤⽤户占据了相当的贡献排名。
国内都有哪些公司参与社区的贡献呢?我来说下，如：中国移动、XSKY、中兴、浪潮、H3C、阿⾥、⽹易、乐视、360、United Stack、99cloud等等，我这⾥就不展开说了（以上公司不分排名），详情可以查看社区mail list。
例如乐视⼩伙伴提交的Ceph RGW:Lifecycle还有XSKY⼩伙伴提交的DPDK、SPDK、RDMA、AsyncMessenger等等。
Ceph社区：持续的创新环境
从传统IT基础架构的⽣态链看，各个层级的⾏业领导者纷纷为Ceph投⼊⼈⼒，物⼒来持续推动不断创新的运⾏，开发和⽣产环境。
如图所⽰RedHat、SUSE、Canonical、FreeBSD等构成了Ceph 软件发⾏包的⼚商。
Intel，Mellanox，AMD 和 Cisco 分别在不同的硬件组件层⾯推动⾃⾝融⼊Ceph 体系，SanDisk，HDS 和 Fujitsu 都在⾃⾝的存储系统上采⽤ Ceph 整合，CERN 和德国电信分别是 Ceph 社区参与和回馈最多的企业⽤户。同时近年来国内运营商级别⽤户中国移动也在参与Ceph社区的贡献。
Ceph 通过其开放的社区和插件化的代码架构来包容越来越多的底层⼚商参与其中，不管是 Mellanox 推动 Infiniband/RDMA，还是希捷的 Kinetic API，或是 Intel x86 架构，ARM 都在积极的参与其中，利⽤⾃⾝的优势来持续对 Ceph 软件体系进⾏创新发展。
⽐如在⽹络层⾯，Mellanox 联合 XSKY提供了基于 RDMA 的⽹络⽅案，Chelsio 跟 XSKY 合作实现基于 iWARP 的 RDMA 存储⽹络等。
Ceph存储引擎
Ceph在存储后端⽀持多种不同的存储引擎，有点类似MySQL⽀持InnoDB，MyISAM等等⼀样。之前有FileStore，KeyValueStore、NewStore和MemStore，但在这些存储引擎中真正被⽤来做在线系统只有FileStore。但是FileStore由于历史问题，存在先天的过多依赖本地⽂件系统的问题，在⾼利⽤率下存在较为严重的性能瓶颈问题。
因此，从Infernails版本开始，Sage开始NewStore的开发，通过结合键值数据库的⾼效管理和本地⽂件系统对于数据的空间管理来实现⾼效的后端存储。但是由于RocksDB和XFS的完美结合困难，在遭受若⼲次打击后，Sage Weil决定⼀捅到底，直接替换XFS使⽤⼀个简易的⽤户态⽂件系统进⾏管理。这个项⽬命名为BlueStore。
简述linux发展史
BlueStore架构图
在这个崭新的 BlueStore设计和实现中，RocksDB被寄予厚望去管理起整个元数据系统，同时整个数据空间会采⽤⼀些为Ceph优化的空间分配器进⾏⼯作。⽬前Ceph已经⽀持离线 FileStore 到 BlueStore 的转换。
Ceph备份容灾
作为⼀个分布式存储系统，Ceph 很少会提及整集全量备份，毕竟作为⼀个庞⼤的多副本存储池，很难再投⼊更⼤规模的备份系统作为⽀撑，更多的是由Ceph ⾃⾝通过副本和后台校验加上并⾏恢复来达到传统存储加备份机的可靠性。
但是 Ceph 仍然在不同的接⼝系统中提供了多种⽅式，在块存储中，⽤户往往需要备份⼏个重要的卷即使Ceph 集在最差情况完全⽆法启动也能保证重要数据不⾄于丢失。
Ceph RBD异地灾备叫做Ceph RBD Mirroring，在Ceph Jewel版本中宣布可⽤。在此之前Ceph块存储解决⽅案（俗称RBD）还不能很好的跨地域复制（灾备）。这⾥需要提醒⼀下，由于Ceph是强⼀致性，所以只有在所有副本都写完的时候才认为⼀个写操作完成。这就是为什么建⽴⼀个跨很长距离地域的集通常都不是⼀个好主意，因为这种情况延时⼀般都很⾼。集必须等到所有的写操作都完成，所以客户端可能需要⼤量的时间来进⾏确认。
因此，需要⼀种机制来允许在不同地域的集之间复制块设备。在当前Jewel版本中，主要是实现两个守护进程之间⼀对⼀的关系，⽽在未来将会扩展到1对N。这样，在Jewel以后的版本中，你将能够配置⼀个集备份到多个⽬标备份集中。
RBD Mirror功能的启⽤和禁⽤可以作⽤在整个Pool或者⼀个image上。如果在资源池级别启⽤了RBD Mirror功能，这样资源池中的每⼀个启⽤了⽇志特性的镜像将会被Mirroragent复制。
⽬前Ceph在多集⽅案聚焦于接⼝层的⽅案，⽽不是在 RADOS 层⾯实现。⽐如 RADOS Object Storage在集间通过Agent的⽅式进⾏数据同步，当然，在Jewel 版本中RADOS Object Storage V2种已经⽀持多读多写的机制，由于对象存储的弱语意，RADOS Object Storage的跨站仍然是最终⼀致性。其定义了 Zone，ZoneGroup 和联合集概念，每个 Zone 可以理解为⼀个传统 Ceph 集的部
分，ZoneGroup 是多个Zone的集合，通常由不同地的Ceph集中的Zone构成，⽽整个联合集中只允许⼀个Master ZoneGroup 来进⾏写操作。因此从逻辑上来部署的话，Master ZoneGroup可以由多个Ceph集构成，⽽Slave ZoneGroup也可以将这些Ceph集的其他池作为Zone。这样就完成了多地多活的集⽅案。
route change命令新版 Multi-Site 沿⽤记⽇志再同步的架构，代码基本重写，引⼊了boost 的协程框架，配置更清晰。同⼀个域下多 Zone之间的数据为多主模式，可以同时写；元数据为主从模式，由主Zone写⼊并同步到从Zone，保证元数据⼀致性。并且即将⽀持桶级同步。最近主线合并了同步模型的插件框架，⽤户可以⾃定义插件来对接 elasticsearch 实现元数据索引，或者⾃定义的向云端备份等操作。
Ceph未来展望
1.Ceph与Elasticsearch
前段时间看到Ceph⽀持了Elasticsearch，RGW+Elasticsearch是今年Ceph对象存储的⼀个热点功能，相信Ceph在⼤数据时代下对数据搜索分析⽅⾯也将会更加的完善。
2.CephFS
CephFS在社区Jewel版本宣称⽣产环境就绪， ⽬前 Active/Standby 模式⽐较稳定，Multi Active模式不太稳定，另外⼤规模使⽤的时候还是有⼀些问题，希望社区尽快完善CephFS相关功能，从⽤户⾓度还是有很多⼈期待使⽤CephFS的。
3.Ceph与新型硬件
同时在硬件⾼速发展的今天，也希望Ceph能够在Intel的最新硬件3D Xpoint能跑出更好更⾼的性能，能够使Ceph更加适应⾼性能的场景。
4.Ceph⼈才培养
最后说下对于Ceph⼈才的培养看法，国家⼯信部的三年计划⾥⾯也公⽰了，”要建⽴创新⼈才培养模式，⿎励⾼校加强云计算相关学科建设，⽀持企业与⾼校联合开展在职⼈员培训，简历⼀批⼈才实训
基地。” 随着Ceph在中国的运营商、政府、⾦融、⼴电、能源、游戏、直播等⾏业纷纷落地，导致出现了⼤量职位空缺。
所以现在需要建⽴起⼀套标准的Ceph培训体系来缓解⽬前对Ceph⼈才的稀缺问题，同时进⾏Ceph校园⾏以京津冀地区⾼校为试点辐射全国，所谓开源、Ceph宣传推⼴从校园开始，响应国家号召促进⼤学⽣就业和积极参与开源社区贡献。
Ceph的整体框架介绍
作者：侯⽟彬
如需转载，请联系原作者授权
简介
诞⽣于2006年的Ceph，是开源社区的明星项⽬，也是私有云事实上的标准-OpenStack的默认存储后端。
Ceph是⼀种软件定义存储，可以运⾏在⼏乎所有主流的Linux发⾏版（⽐如CentOS和Ubuntu）和其它类UNIX操作系统（典型如FreeBSD）。
Ceph的分布式基因使其可以轻易管理成百上千个节点、PB级及以上存储容量的⼤规模集，同时基于计算的扁平寻址设计使得Ceph 客户端可以直接和服务端的任意节点通信，从⽽避免因为存在访问热点⽽导致性能瓶颈。
Ceph是⼀个统⼀存储系统，即⽀持传统的块、⽂件存储协议，例如SAN和NAS；也⽀持对象存储协议，例如S3和Swift。
❖ Ceph和存储的未来
所有存储系统的要求都是统⼀、分布式、可靠、⾼性能且能够⼤规模扩展⾄艾字节，甚⾄更⾼级别。Ceph存储系统是⼀个真正的解决⽅案，它可以应对这个星球上爆炸式增长的数据。其统⼀、分布式、⾼性价⽐和可扩展的特性使它成为满⾜今天和将来数据存储需求的潜在解决⽅案。
网站页面设计原则❖ Ceph云存储解决⽅案
所有想在存储基础设施上省钱的⽤户最有可能很快就考虑采⽤软件定义存储(SDS)。SDS可以为在传统存储上有⼤投⼊但仍然没有获得必要的灵活性和扩展性的⽤户提供⼀个很好的解决⽅案。Ceph是⼀个真正的SDS解决⽅案，它可以从软件层⾯正确提供所有的企业级存储特性。低成本、可靠性、可扩展性是Ceph的主要特点。
replace是什么意思啊
❖ Ceph统⼀存储解决⽅案
从存储⼚商的⾓度来看，统⼀存储的定义就是在单⼀的平台上同时提供基于⽂件和基于块的访问。企业存储环境在单⼀平台提供NAS和SAN。
在Ceph中，统⼀存储这个词涵盖的功能⽐现在的存储⼚商所声称的更多。Ceph是⼀个真正的统⼀存储解决⽅案，它从单⼀统⼀软件层提供对象、块和⽂件存储。
在传统基于⽂件的存储系统中，⽂件是通过⽂件⽬录进⾏寻址的。相类似，Ceph中的对象通过唯⼀的标识符进⾏寻址，并存储在⼀个扁平的寻址空间中。剔除了元数据操作之后，对象提供了⽆限的规模扩展和性能提升。Ceph通过⼀个算法来动态计算存储和获取某个对象的位置。
下⼀代架构
传统的存储系统并不具备更智能地管理元数据的⽅法。传统的存储系统通过维护⼀张集中的查表来跟踪它们的元数据。客户端每次发出读写操作请求时，存储系统⾸先要查这个巨⼤的元数据表，得到结果之后它才能执⾏客户端请求的操作。对于⼀个⼩的存储系统⽽⾔，也许不会感觉到性能问题，但对于⼀个⼤的存储集来说，你将会受制于这种⽅法的性能限制，也会限制系统的扩展性。
Ceph引⼊了⼀个叫CRUSH的新算法，⽽不是保存和操纵元数据。
CRUSH是Controlled Replication Under Scalable Hashing的缩写，CRUSH算法在后台计算数据存储和读取的位置，⽽不是为每个客户端请求执⾏元数据表的查。通过动态计算元数据，不需要管理⼀个集中式的元数据表。
CRUSH使得Ceph能够⾃我管理和⾃我治愈。当故障区域中的组件故障时，CRUSH能够感知哪个组件故障了，并确定其对集的影响。⽆须管理员的任何⼲预，CRUSH就会进⾏⾃我管理和⾃我疗愈，为因故障⽽丢失的数据执⾏恢复操作。
使⽤CRUSH，我们能够设计⼀个没有单点故障的⾼度可靠的存储基础设施。它也使得Ceph成为⼀个⾯向未来的⾼度可扩展和可靠的存储系统。
兼容性组合
Ceph是⼀个完备的企业级存储系统，它⽀持多种协议以及访问⽅式。这个统⼀的存储⽀持Ceph块、⽂件和对象存储。
Ceph块存储
块存储是存储区域⽹络中使⽤的⼀个数据存储类别。
在这种类型中，数据以块的形式存储在卷⾥，卷会挂接到节点上。这些块形成的卷会映射到操作系统中，并被⽂件系统层控制。chart控件曲线使用教程
Ceph引⼊了⼀个新的RBD协议，也就是Ceph块设备。RBD为客户端提供了可靠、分布式、⾼性能的块存储。RBD已经被Linux内核⽀持，⼏乎所有的Linux操作系统发⾏版都⽀持RBD。除了可靠性和性能之外，RBD也⽀持其他的企业级特性，如完整和增量式快照，精简的配置，写时复制式克隆以及全内存是缓存。
Ceph RBD⽀持的最⼤镜像为16EB。这些镜像可以作为磁盘映射到物理机裸机、虚拟机或者其他主机⽤。业界领先的开源hypervisor，例如KVM和Xen完全⽀持RBD。
Ceph⽂件系统
Ceph⽂件系统（也就是CephFS）是⼀个兼容POSIX的⽂件系统，利⽤Ceph存储集来保存⽤户数据。Linux内核驱动程序⽀持CephFS，这也使得CephFS⾼度适⽤于各⼤Linux操作系统发⾏版。CephFS将数据和元数据分开存储，为上层的应⽤程序提供较⾼的性能以及可靠性。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。