redis深⼊学习(⼀)-----CAP、redis数据类型
NoSQL数据库的四⼤分类
KV键值:
memcache+redis
⽂档型数据库(bson格式⽐较多):
MongoDB
MongoDB 是⼀个基于分布式⽂件存储的数据库。由 C++ 语⾔编写。旨在为 WEB 应⽤提供可扩展的⾼性能数据存储解决⽅案。
MongoDB 是⼀个介于关系数据库和⾮关系数据库之间的产品,是⾮关系数据库当中功能最丰富,最像关系数据库的。
列存储数据库
Cassandra, HBase-----分布式⽂件系统
图关系数据库
Neo4J, InfoGrid-----社交⽹络,推荐系统等。专注于构建关系图谱
分布式数据库原理
在分布式数据库中CAP原理CAP+BASE
传统的ACID分别是什么
关系型数据库遵循ACID规则
事务在英⽂中是transaction,和现实世界中的交易很类似,它有如下四个特性:
redis支持的五种数据类型1、A (Atomicity) 原⼦性
原⼦性很容易理解,也就是说事务⾥的所有操作要么全部做完,要么都不做,事务成功的条件是事务⾥的所有操作都成功,只要有⼀个操作失败,整个事务就失败,需要回滚。⽐如银⾏转账,从A账户转100元⾄B账户,分为两个步骤:1)从A账户取100元;2)存⼊100元⾄B账户。这两步要么⼀起完成,要么⼀起不完成,如果只完成第⼀步,第⼆步失败,钱会莫名其妙少了100元。
2、C (Consistency) ⼀致性
⼀致性也⽐较容易理解,也就是说数据库要⼀直处于⼀致的状态,事务的运⾏不会改变数据库原本的⼀致性约束。
3、I (Isolation) 独⽴性
所谓的独⽴性是指并发的事务之间不会互相影响,如果⼀个事务要访问的数据正在被另外⼀个事务修改,只要另外⼀个事务未提交,它所访问的数据就不受未提交事务的影响。⽐如现有有个交易是从A账户转100元⾄B账户,在这个交易还未完成的情况下,如果此时B查询⾃⼰的账户,是看不到新增加的100元的
4、D (Durability) 持久性
持久性是指⼀旦事务提交后,它所做的修改将会永久的保存在数据库上,即使出现宕机也不会丢失。
CAP
C:Consistency(强⼀致性)
A:Availability(可⽤性)
P:Partition tolerance(分区容错性)
CAP的3进2
CAP理论就是说在分布式存储系统中,最多只能实现上⾯的两点。
⽽由于当前的⽹络硬件肯定会出现延迟丢包等问题,所以
分区容忍性是我们必须需要实现的。
所以我们只能在⼀致性和可⽤性之间进⾏权衡,没有NoSQL系统能同时保证这三点。
======================================================================================================================= C:强⼀致性 A:⾼可⽤性 P:分布式容忍性
CA 传统Oracle数据库
AP ⼤多数⽹站架构的选择
CP Redis、Mongodb
注意:分布式架构的时候必须做出取舍。
⼀致性和可⽤性之间取⼀个平衡。多余⼤多数web应⽤,其实并不需要强⼀致性。
因此牺牲C换取P,这是⽬前分布式数据库产品的⽅向
=======================================================================================================================⼀致性与可⽤性的决择
对于web2.0⽹站来说,关系数据库的很多主要特性却往往⽆⽤武之地
数据库事务⼀致性需求
很多web实时系统并不要求严格的数据库事务,对读⼀致性的要求很低,有些场合对写⼀致性要求并不⾼。允许实现最终⼀致性。
数据库的写实时性和读实时性需求
对关系数据库来说,插⼊⼀条数据之后⽴刻查询,是肯定可以读出来这条数据的,但是对于很多web应⽤来说,并不要求这么⾼的实时性,⽐⽅说发⼀条消息之后,过⼏秒乃⾄⼗⼏秒之后,我的订阅者才看到这条动态是完全可以接受的。
对复杂的SQL查询,特别是多表关联查询的需求
任何⼤数据量的web系统,都⾮常忌讳多个⼤表的关联查询,以及复杂的数据分析类型的报表查询,特别是SNS类型的⽹站,从需求以及产品设计⾓度,就避免了这种情况的产⽣。往往更多的只是单表的主键查询,以及单表的简单条件分页查询,SQL的功能被极⼤的弱化了。
经典CAP图
CAP理论的核⼼是:⼀个分布式系统不可能同时很好的满⾜⼀致性,可⽤性和分区容错性这三个需求,最多只能同时较好的满⾜两个。
因此,根据 CAP 原理将 NoSQL 数据库分成了满⾜ CA 原则、满⾜ CP 原则和满⾜ AP 原则三⼤类:
CA - 单点集,满⾜⼀致性,可⽤性的系统,通常在可扩展性上不太强⼤。
CP - 满⾜⼀致性,分区容忍必的系统,通常性能不是特别⾼。
AP - 满⾜可⽤性,分区容忍性的系统,通常可能对⼀致性要求低⼀些。
BASE
BASE就是为了解决关系数据库强⼀致性引起的问题⽽引起的可⽤性降低⽽提出的解决⽅案。
BASE其实是下⾯三个术语的缩写:
基本可⽤(Basically Available)
软状态(Soft state)
最终⼀致(Eventually consistent)
它的思想是通过让系统放松对某⼀时刻数据⼀致性的要求来换取系统整体伸缩性和性能上改观。为什么这么说呢,缘由就在于⼤型系统往往由于地域分布和极⾼性能的要求,不可能采⽤分布式事务来完成这些指标,要想获得这些指标,我们必须采⽤另外⼀种⽅式来完成,这⾥BASE就是解决这个问题的办法
分布式+集简介
分布式系统
分布式系统(distributed system)
由多台计算机和通信的软件组件通过计算机⽹络连接(本地⽹络或⼴域⽹)组成。分布式系统是建⽴
在⽹络之上的软件系统。正是因为软件的特性,所以分布式系统具有⾼度的内聚性和透明性。因此,⽹络和分布式系统之间的区别更多的在于⾼层软件(特别是操作系统),⽽不是硬件。分布式系统可以应⽤在在不同的平台上如:Pc、⼯作站、局域⽹和⼴域⽹上等。
简单来讲:
1分布式:不同的多台服务器上⾯部署不同的服务模块(⼯程),他们之间通过Rpc/Rmi之间通信和调⽤,对外提供服务和组内协作。
2集:不同的多台服务器上⾯部署相同的服务模块,通过分布式调度软件进⾏统⼀的调度,对外提供服务和访问。
Redis
概述
Redis:REmote DIctionary Server(远程字典服务器),是完全开源免费的,⽤C语⾔编写的,遵守BSD协议,是⼀个⾼性能的(key/value)分布式内存数据库,基于内存运⾏,并⽀持持久化的NoSQL数据库,是当前最热门的NoSql数据库之⼀,也被⼈们称为数据结构服务器。
简介
1、Redis⽀持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进⾏使⽤
2、Redis不仅仅⽀持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储
3、Redis⽀持数据的备份,即master-slave模式的数据备份
功能
1、内存存储和持久化:redis⽀持异步将内存中的数据写到硬盘上,同时不影响继续服务
2、取最新N个数据的操作,如:可以将最新的10条评论的ID放在Redis的List集合⾥⾯
3、模拟类似于HttpSession这种需要设定过期时间的功能
4、发布、订阅消息系统
5、定时器、计数器
特点
单进程
1、单进程模型来处理客户端的请求。对读写等事件的响应是通过对epoll函数的包装来做到的。Redis的实际处理速度完全依靠主进程的执⾏效率。epoll是Linux内核为处理⼤批量⽂件描述符⽽作了改进的epoll,是Linux下多路复⽤IO接⼝select/poll的增强版本,它能显著提⾼程序在⼤量并发连接中只有少量活跃的情况下的系统CPU利⽤率。
2、默认16个数据库,类似数组下表从零开始,初始默认使⽤零号库
3、select命令切换数据库
4、dbsize查看当前数据库的key的数量
5、flushdb:清空当前库
6、Flushall;通杀全部库
7、Redis索引都是从零开始
8、默认端⼝是6379
9、统⼀密码管理,16个库都是同样密码,要么都OK要么⼀个也连接不上
Redis数据类型
1、string(字符串)
string是redis最基本的类型,你可以理解成与Memcached⼀模⼀样的类型,⼀个key对应⼀个value。
string类型是⼆进制安全的。意思是redis的string可以包含任何数据。⽐如jpg图⽚或者序列化的对象。
string类型是Redis最基本的数据类型,⼀个redis中字符串value最多可以是512M
2、hash(哈希,类似java⾥的Map)
Hash(哈希)
Redis hash 是⼀个键值对集合。
Redis hash是⼀个string类型的field和value的映射表,hash特别适合⽤于存储对象。
类似Java⾥⾯的Map<String,Object>
3、list(列表)
Redis 列表是简单的字符串列表,按照插⼊顺序排序。你可以添加⼀个元素导列表的头部(左边)或者尾部(右边)。它的底层实际是个链表
4、set(集合)
Set(集合)
Redis的Set是string类型的⽆序集合。它是通过HashTable实现实现的。
5、zset(sorted set:有序集合)
zset(sorted set:有序集合)
Redis zset 和 set ⼀样也是string类型元素的集合,且不允许重复的成员。
不同的是每个元素都会关联⼀个double类型的分数。
redis正是通过分数来为集合中的成员进⾏从⼩到⼤的排序。zset的成员是唯⼀的,但分数(score)却可以重复。
命令参考
常⽤命令
Redis 键(key)
1、 keys *
2、 exists key的名字-----判断某个key是否存在
eg:exists name
3、 move key db-----当前库就没有了,被移除了
eg:move name 2-----将name移除到2号库
4、 expire key 秒钟:为给定的key设置过期时间
eg:expire age 10-----存活10秒
5、 ttl key 查看还有多少秒过期,-1表⽰永不过期,-2表⽰已过期
eg:ttl name
6、 type key 查看你的key是什么类型
eg:type name
Redis字符串(String)
1、set/get/del/append/strlen
2、Incr/decr/incrby/decrby,⼀定要是数字才能进⾏加减
3、 getrange/setrange
getrange:获取指定区间范围内的值,类似and的关系从零到负⼀表⽰全部
setrange设置指定区间范围内的值,格式是setrange key值具体值
4、 setex(set with expire)键秒值/setnx(set if not exist)
setex:设置带过期时间的key,动态设置。
setex 键秒值真实值
setnx:只有在 key 不存在时设置 key 的值。
5、 mset/mget/msetnx
mset:同时设置⼀个或多个 key-value 对。
mget:获取所有(⼀个或多个)给定 key 的值。
msetnx:同时设置⼀个或多个 key-value 对,当且仅当所有给定 key 都不存在。
6、 getset(先get再set)
Redis列表(List)
1、 lpush/rpush/lrange
3、 lindex,按照索引下标获得元素(从上到下)
通过索引获取列表中的元素 lindex key index
4、 llen
5、 lrem key 删N个value
* 从left往right删除2个值等于v1的元素,返回的值为实际删除的数量
* LREM list3 0 值,表⽰删除全部给定的值。零个就是全部值
6、 ltrim key 开始index 结束index,截取指定范围的值后再赋值给key
ltrim:截取指定索引区间的元素,格式是ltrim list的key 起始索引结束索引
7、 rpoplpush 源列表⽬的列表
移除列表的最后⼀个元素,并将该元素添加到另⼀个列表并返回
8、 lset key index value
9、 linsert key before/after 值1 值2
在list某个已有值的前后再添加具体值
性能总结:
它是⼀个字符串链表,left、right都可以插⼊添加;
如果键不存在,创建新的链表;
如果键已存在,新增内容;
如果值全移除,对应的键也就消失了。
链表的操作⽆论是头和尾效率都极⾼,但假如是对中间元素进⾏操作,效率就很惨淡了。Redis集合(Set)
1、 sadd/smembers/sismember
2、 scard
获取集合⾥⾯的元素个数
3、 srem key value
删除集合中元素
4、 srandmember key
某个整数(随机出⼏个数)
5、 spop key
随机出栈
6、 smove key1 key2
在key1⾥某个值,作⽤是将key1⾥的某个值赋给key2
7、差集:sdiff
8、交集:sinter
9、并集:sunion
Redis哈希(Hash)
概念:KV模式不变,但V是⼀个键值对
1、 hset/hget/hmset/hmget/hgetall/hdel
2、 hlen
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论