redis淘汰策略⾯试题_值得⼀看的35个Redis⾯试题总结
1.什么是redis?
Redis 是⼀个基于内存的⾼性能key-value数据库。
2.Reids的特点
Redis本质上是⼀个Key-Value类型的内存数据库,很像memcached,整个数据库统统加载在内存当中进⾏操作,定期通过异步操作把数据库数据flush到硬盘上进⾏保存。
因为是纯内存操作,Redis的性能⾮常出⾊,每秒可以处理超过 10万次读写操作,是已知性能最快的Key-Value DB。
Redis的出⾊之处不仅仅是性能,Redis最⼤的魅⼒是⽀持保存多种数据结构,此外单个value的最⼤限制是1GB,不像 memcached只能保存1MB的数据,因此Redis可以⽤来实现很多有⽤的功能。redis是nosql数据库吗
⽐⽅说⽤他的List来做FIFO双向链表,实现⼀个轻量级的⾼性 能消息队列服务,⽤他的Set可以做⾼性能的tag系统等等。另外Redis也可以对存⼊的Key-Value设置expire时间,因此也可以被当作⼀ 个功能加强版的memcached来⽤。
Redis的主要缺点是数据库容量受到物理内存的限制,不能⽤作海量数据的⾼性能读写,因此Redis适合的场景主要局限在较⼩数据量的⾼性能操作和运算上。
3.使⽤redis有哪些好处?
速度快,因为数据存在内存中,类似于HashMap,HashMap的优势就是查和操作的时间复杂度都是O(1)
⽀持丰富数据类型,⽀持string,list,set,sorted set,hash
⽀持事务,操作都是原⼦性,所谓的原⼦性就是对数据的更改要么全部执⾏,要么全部不执⾏
丰富的特性:可⽤于缓存,消息,按key设置过期时间,过期后将会⾃动删除
memcached所有的值均是简单的字符串,redis作为其替代者,⽀持更为丰富的数据类型
redis的速度⽐memcached快很多
redis可以持久化其数据
5.Memcache与Redis的区别都有哪些?
存储⽅式 Memecache把数据全部存在内存之中,断电后会挂掉,数据不能超过内存⼤⼩。 Redis有部份存在硬盘上,这样能保证数据的持久性。
数据⽀持类型 Memcache对数据类型⽀持相对简单。 Redis有复杂的数据类型。
使⽤底层模型不同 它们之间底层实现⽅式 以及与客户端之间通信的应⽤协议不⼀样。 Redis直接⾃⼰构建了VM 机制 ,因为⼀般的系统调⽤系统函数的话,会浪费⼀定的时间去移动和请求。
Master写内存快照,save命令调度rdbSave函数,会阻塞主线程的⼯作,当快照⽐较⼤时对性能影响是⾮常⼤的,会间断性暂停服务,所以Master最好不要写内存快照。
Master AOF持久化,如果不重写AOF⽂件,这个持久化⽅式对性能的影响是最⼩的,但是AOF⽂件会不断增⼤,AOF⽂件过⼤会影响Master重启的恢复速度。Master最好不要做任何持久化⼯作,包括内存快照和AOF⽇志⽂件,特别是不要启⽤内存快照做持久化,如果数据⽐较关键,某个Slave开启AOF备份数据,策略为每秒同步⼀次。
Master调⽤BGREWRITEAOF重写AOF⽂件,AOF在重写的时候会占⼤量的CPU和内存资源,导致服务load过⾼,出现短暂服务暂停现象。
Redis主从复制的性能问题,为了主从复制的速度和连接的稳定性,Slave和Master最好在同⼀个局域⽹内
7. mySQL⾥有2000w数据,redis中只存20w的数据,如何保证redis中的数据都是热点数据
相关知识:redis 内存数据集⼤⼩上升到⼀定⼤⼩的时候,就会施⾏数据淘汰策略(回收策略)。
redis 提供 6种数据淘汰策略:
volatile-lru:从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使⽤的数据淘汰
volatile-ttl:从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰
volatile-random:从已设置过期时间的数据集(server.db[i].expires)中任意选择数据淘汰
allkeys-lru:从数据集(server.db[i].dict)中挑选最近最少使⽤的数据淘汰
allkeys-random:从数据集(server.db[i].dict)中任意选择数据淘汰
no-enviction(驱逐):禁⽌驱逐数据
8.请⽤Redis和任意语⾔实现⼀段恶意登录保护的代码,限制1⼩时内每⽤户Id最多只能登录5次。具体登录函数或功能⽤空函数即可,不⽤详细写出。
⽤列表实现:列表中每个元素代表登陆时间,只要最后的第5次登陆时间和现在时间差不超过1⼩时就禁⽌登陆.⽤Python写的代码如下:
#!/usr/bin/env python3
import redis
import sys
import time
r = redis.StrictRedis(host=’127.0.0.1′, port=6379, db=0)
try:
id = sys.argv[1]
except:
print(‘input argument error’)
if r.llen(id) >= 5 and time.time() – float(r.lindex(id, 4)) <= 3600:
print(“you are forbidden logining”)
else:
print(‘you are allowed to login’)
r.lpush(id, time.time())
# login_func()
9.为什么redis需要把所有数据放到内存中?
Redis为了达到最快的读写速度将数据都读到内存中,并通过异步的⽅式将数据写⼊磁盘。所以redis
具有快速和数据持久化的特征。如果不将数据放在内存中,磁盘I/O速度为严重影响redis的性能。在内存越来越便宜的今天,redis将会越来越受欢迎。
如果设置了最⼤使⽤的内存,则数据已有记录数达到内存限值后不能继续插⼊新值。
10.Redis是单进程单线程的
redis利⽤队列技术将并发访问变为串⾏访问,消除了传统数据库串⾏控制的开销
Redis为单进程单线程模式,采⽤队列模式将并发访问变为串⾏访问。Redis本⾝没有锁的概念,Redis对于多个客户端连接并不存在竞争,但是在Jedis客户端对Redis进⾏并发访问时会发⽣连接超时、数据转换错误、阻塞、客户端关闭连接等问题,这些问题均是由于客户端连接混乱造成。
对此有2种解决⽅法:
1.客户端⾓度,为保证每个客户端间正常有序与Redis进⾏通信,对连接进⾏池化,同时对客户端读写Redis操作采⽤内部锁synchronized。
2.服务器⾓度,利⽤setnx实现锁。
注:对于第⼀种,需要应⽤程序⾃⼰处理资源的同步,可以使⽤的⽅法⽐较通俗,可以使⽤synchronized也可以使⽤lock;第⼆种需要⽤到Redis的setnx命令,但是需要注意⼀些问题。
和众多其它数据库⼀样,Redis作为NoSQL数据库也同样提供了事务机制。在Redis中,MULTI/EXEC/DISCARD/WATCH这四个命令是我们实现事务的基⽯。
相信对有关系型数据库开发经验的开发者⽽⾔这⼀概念并不陌⽣,即便如此,我们还是会简要的列出Redis中事务的实现特征:
在事务中的所有命令都将会被串⾏化的顺序执⾏,事务执⾏期间,Redis不会再为其它客户端的请求提供任何服务,从⽽保证了事物中的所有命令被原⼦的执⾏。
和关系型数据库中的事务相⽐,在Redis事务中如果有某⼀条命令执⾏失败,其后的命令仍然会被继续执⾏。
我们可以通过MULTI命令开启⼀个事务,有关系型数据库开发经验的⼈可以将其理解为"BEGIN TRANSACTION"语句。在该语句之后执⾏的命令都将被视为事务之内的操作,最后我们可以通过执⾏EXEC/DISCARD命令来提交/回滚该事务内的所有操作。这两个Redis命令可被视为等同于关系型数据
库中的COMMIT/ROLLBACK语句。
在事务开启之前,如果客户端与服务器之间出现通讯故障并导致⽹络断开,其后所有待执⾏的语句都将不会被服务器执⾏。然⽽如果⽹络中断事件是发⽣在客户端执⾏EXEC命令之后,那么该事务中的所有命令都会被服务器执⾏。
当使⽤Append-Only模式时,Redis会通过调⽤系统函数write将该事务内的所有写操作在本次调⽤中全部写⼊磁盘。然⽽如果在写⼊的过程中出现系统崩溃,如电源故障导致的宕机,那么此时也许只有部分数据被写⼊到磁盘,⽽另外⼀部分数据却已经丢失。
Redis服务器会在重新启动时执⾏⼀系列必要的⼀致性检测,⼀旦发现类似问题,就会⽴即退出并给出相应的错误提⽰。
此时,我们就要充分利⽤Redis⼯具包中提供的redis-check-aof⼯具,该⼯具可以帮助我们定位到数据不⼀致的错误,并将已经写⼊的部分数据进⾏回滚。修复之后我们就可以再次重新启动Redis服务器了。
13.WATCH命令和基于CAS的乐观锁:
在Redis的事务中,WATCH命令可⽤于提供CAS(check-and-set)功能。假设我们通过WATCH命令在事
务执⾏之前监控了多个Keys,倘若在WATCH之后有任何Key的值发⽣了变化,EXEC命令执⾏的事务都将被放弃,同时返回Null multi-bulk应答以通知调⽤者事务
执⾏失败。例如,我们再次假设Redis中并未提供incr命令来完成键值的原⼦性递增,如果要实现该功能,我们只能⾃⾏编写相应的代码。其伪码如下:
val = GET mykey
val = val + 1
SET mykey $val
以上代码只有在单连接的情况下才可以保证执⾏结果是正确的,因为如果在同⼀时刻有多个客户端在同时执⾏该段代码,那么就会出现多线程程序中经常出现的⼀种错误场景--竞态争⽤(race condition)。
⽐如,客户端A和B都在同⼀时刻读取了mykey的原有值,假设该值为10,此后两个客户端⼜均将该值加⼀后set回Redis服务器,这样就会导致mykey的结果为11,⽽不是我们认为的12。为了解决类似的问题,我们需要借助WATCH命令的帮助,见如下代码:
WATCH mykey
val = GET mykey
val = val + 1
MULTI
SET mykey $val
EXEC
和此前代码不同的是,新代码在获取mykey的值之前先通过WATCH命令监控了该键,此后⼜将set命令包围在事务中,这样就可以有效的保证每个连接在执⾏EXEC之前,如果当前连接获取的mykey的值被其它连接的客户端修改,那么当前连接的EXEC命令将执⾏失败。这样调⽤者在判断返回值后就可以获悉val是否被重新设置成功。
1、快照(snapshots)
缺省情况情况下,Redis把数据快照存放在磁盘上的⼆进制⽂件中,⽂件名为dump.rdb。你可以配置R
edis的持久化策略,例如数据集中每N秒钟有超过M次更新,就将数据写⼊磁盘;或者你可以⼿⼯调⽤命令SAVE或BGSAVE。
⼯作原理
Redis forks.
⼦进程开始将数据写到临时RDB⽂件中。
当⼦进程完成写RDB⽂件,⽤新⽂件替换⽼⽂件。
这种⽅式可以使Redis使⽤copy-on-write技术。
2、AOF
快照模式并不⼗分健壮,当系统停⽌,或者⽆意中Redis被kill掉,最后写⼊Redis的数据就会丢失。
这对某些应⽤也许不是⼤问题,但对于要求⾼可靠性的应⽤来说,Redis就不是⼀个合适的选择。Append-only⽂件模式是另⼀种选择。你可以在配置⽂件中打开AOF模式
3、虚拟内存⽅式
当你的key很⼩⽽value很⼤时,使⽤VM的效果会⽐较好.因为这样节约的内存⽐较⼤.
当你的key不⼩时,可以考虑使⽤⼀些⾮常⽅法将很⼤的key变成很⼤的value,⽐如你可以考虑将key,value组合成⼀个新的value.
vm-max-threads这个参数,可以设置访问swap⽂件的线程数,设置最好不要超过机器的核数,如果设置为0,那么所有对swap⽂件的操作都是串⾏的.可能会造成⽐较长时间的延迟,但是对数据完整性有很好的保证.
⾃⼰测试的时候发现⽤虚拟内存性能也不错。如果数据量很⼤,可以考虑分布式或者其他数据库。
作为缓存系统都要定期清理⽆效数据,就需要⼀个主键失效和淘汰策略.
在Redis当中,有⽣存期的key被称为volatile。在创建缓存时,要为给定的key设置⽣存期,当key过期的时候(⽣存期为0),它可能会被删除。
1、影响⽣存时间的⼀些操作
⽣存时间可以通过使⽤ DEL 命令来删除整个 key 来移除,或者被 SET 和 GETSET 命令覆盖原来的数据,也就是说,修改key对应的value和使⽤另外相同的key和value来覆盖以后,当前数据的⽣存时间不同。
⽐如说,对⼀个 key 执⾏INCR命令,对⼀个列表进⾏LPUSH命令,或者对⼀个哈希表执⾏HSET命令,这类操作都不会修改 key 本⾝的⽣存时间。另⼀⽅⾯,如果使⽤RENAME对⼀个 key 进⾏改名,那么改名后的 key的⽣存时间和改名前⼀样。
RENAME命令的另⼀种可能是,尝试将⼀个带⽣存时间的 key 改名成另⼀个带⽣存时间的 another_key ,这时旧的 another_key (以及它的⽣存时间)会被删除,然后旧的 key 会改名为 another_key ,因此,新的 another_key 的⽣存时间也和原本的 key ⼀样。使⽤PERSIST命令可以在不删除 key 的情况下,移除 key 的⽣存时间,让 key 重新成为⼀个persistent key 。
2、如何更新⽣存时间
可以对⼀个已经带有⽣存时间的 key 执⾏EXPIRE命令,新指定的⽣存时间会取代旧的⽣存时间。过期时间的精度已经被控制在1ms之内,主键失效的时间复杂度是O(1),EXPIRE和TTL命令搭配使⽤,TTL可以查看key的当前⽣存时间。设置成功返回 1;当 key 不存在或者不能为 key 设置⽣存时间时,返回 0 。
最⼤缓存配置:
在 redis 中,允许⽤户设置最⼤使⽤内存⼤⼩,server.maxmemory默认为0,没有指定最⼤缓存,如果有新的数据添加,超过最⼤内存,则会使redis崩溃,所以⼀定要设置。redis 内存数据集⼤⼩上升到⼀定⼤⼩的时候,就会实⾏数据淘汰策略。
redis 提供 6种数据淘汰策略:
volatile-lru:从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使⽤的数据淘汰
volatile-ttl:从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰
volatile-random:从已设置过期时间的数据集(server.db[i].expires)中任意选择数据淘汰
allkeys-lru:从数据集(server.db[i].dict)中挑选最近最少使⽤的数据淘汰
allkeys-random:从数据集(server.db[i].dict)中任意选择数据淘汰
no-enviction(驱逐):禁⽌驱逐数据
注意这⾥的6种机制,volatile和allkeys规定了是对已设置过期时间的数据集淘汰数据还是从全部数据
集淘汰数据,后⾯的lru、ttl以及random是三种不同的淘汰策略,再加上⼀种no-enviction永不回收的策略。
使⽤策略规则:
如果数据呈现幂律分布,也就是⼀部分数据访问频率⾼,⼀部分数据访问频率低,则使⽤allkeys-lru
如果数据呈现平等分布,也就是所有的数据访问频率都相同,则使⽤allkeys-random
三种数据淘汰策略:
ttl和random⽐较容易理解,实现也会⽐较简单。主要是Lru最近最少使⽤淘汰策略,设计上会对key 按失效时间排序,然后取最先失效的key进⾏淘汰
Redis最适合所有数据in-momory的场景,虽然Redis也提供持久化功能,但实际更多的是⼀个disk-backed的功能,跟传统意义上的持久化有⽐较⼤的差别,那么可能⼤家就会有疑问,似乎Redis更像⼀个加强版的Memcached,那么何时使⽤Memcached,何时使⽤Redis 呢?
如果简单地⽐较Redis与Memcached的区别,⼤多数都会得到以下观点:
Redis不仅仅⽀持简单的k/v类型的数据,同时还提供list,set,zset,hash等数据结构的存储。
Redis⽀持数据的备份,即master-slave模式的数据备份。
Redis⽀持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进⾏使⽤。
1、会话缓存(Session Cache)
最常⽤的⼀种使⽤Redis的情景是会话缓存(session cache)。⽤Redis缓存会话⽐其他存储(如Memcached)的优势在于:Redis提供持久化。当维护⼀个不是严格要求⼀致性的缓存时,如果⽤户的购物车信息全部丢失,⼤部分⼈都会不⾼兴的,现在,他们还会这样吗?
幸运的是,随着 Redis 这些年的改进,很容易到怎么恰当的使⽤Redis来缓存会话的⽂档。甚⾄⼴为⼈知的商业平台Magento也提供Redis的插件。
2、全页缓存(FPC)
除基本的会话token之外,Redis还提供很简便的FPC平台。回到⼀致性问题,即使重启了Redis实例,因为有磁盘的持久化,⽤户也不会看到页⾯加载速度的下降,这是⼀个极⼤改进,类似PHP本地FPC。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论