Redis源码剖析--源码结构解析
Redis:
架构:单机,主从,集
应⽤:
1—缓存、持久化
2—订阅、发布(消息队列、消息通知)
3—分布式锁
4—分布式Session共享
Redis简介
redis全称REmote DIctionary Server,是⼀个由Salvatore Sanfilippo写的⾼性能key-value存储系统,其完全开源免费,遵守BSD协议。Redis与其他key-value缓存产品(如memcache)有以下⼏个特点。
+ Redis⽀持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进⾏使⽤。
+ Redis不仅仅⽀持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。
+ Redis⽀持数据的备份,即master-slave模式的数据备份。
Redis的性能极⾼且拥有丰富的数据类型,同时,Redis所有操作都是原⼦性的,也⽀持对⼏个操作合并后原⼦性的执⾏。另外,Redis有丰富的扩展特性,它⽀持publish/subscribe, 通知,key 过期等等特性。
Redis更为优秀的地⽅在于,它的代码风格极其精简,整个源码只有23000⾏,很有利于阅读和赏析!还在等什么呢?Start!
如何获取Redis源码?
redis是完全开源的,其源代码可以在直接在官⽹上获取(⽬前最新版本是3.2.5)。执⾏以下指令:
cd ... // 这⾥打开你存放redis的⽂件夹
wget dis.io/releases/redis-3.2.
tar zxvf redis-3.2.
此时,进⼊解压后的redis⽬录下的src⽂件夹,redis的所有源代码都存放在此。
[root@VM_123_20_centos redis-3.2.5]# cd src/
[root@VM_123_20_centos src]# ls
Makefile      crc64.h        mkreleasehdr.sh    redis-cli.o    sort.o
Makefile.dep  crc64.o        multi.c            redis-sentinel  sparkline.c
adlist.c      db.c          multi.o            redis-server    sparkline.h
adlist.h      db.o          networking.c      redis-trib.rb  sparkline.o
adlist.o      debug.c        networking.o      redisassert.h  syncio.c
ae.c          debug.o        notify.c          release.c      syncio.o
ae.h          debugmacro.h  notify.o          release.h      t_hash.c
ae.o          dict.c        object.c          release.o      t_hash.o
ae_epoll.c    dict.h        object.o          replication.c  t_list.c
ae_evport.c  dict.o        pqsort.c          replication.o  t_list.o
ae_kqueue.c  endianconv.c  pqsort.h          rio.c          t_set.c
ae_select.c  endianconv.h  pqsort.o          rio.h          t_set.o
anet.c        endianconv.o  pubsub.c          rio.o          t_string.c
anet.h        fmacros.h      pubsub.o          scripting.c    t_string.o
anet.o        geo.c          quicklist.c        scripting.o    t_zset.c
aof.c        geo.h          quicklist.h        sds.c          t_zset.o
aof.o        geo.o          quicklist.o        sds.h          testhelp.h
asciilogo.h  help.h        rand.c            sds.o          util.c
bio.c        hyperloglog.c  rand.h            sdsalloc.h      util.h
bio.h        hyperloglog.o  rand.o            sentinel.c      util.o
bio.o        intset.c      rdb.c              sentinel.o      valgrind.sup
bitops.c      intset.h      rdb.h              server.c        version.h
bitops.o      intset.o      rdb.o              server.h        ziplist.c
blocked.c    latency.c      redis-benchmark    server.o        ziplist.h
blocked.o    latency.h      redis-benchmark.c  setproctitle.c  ziplist.o
cluster.c    latency.o      redis-benchmark.o  setproctitle.o  zipmap.c
cluster.h    lzf.h          redis-check-aof    sha1.c          zipmap.h
cluster.o    lzfP.h        redis-check-aof.c  sha1.h          zipmap.o
config.c      lzf_c.c        redis-check-aof.o  sha1.o          zmalloc.c
config.h      lzf_c.o        redis-check-rdb    slowlog.c      zmalloc.h
config.o      lzf_d.c        redis-check-rdb.c  slowlog.h      zmalloc.o
crc16.c      lzf_d.o        redis-check-rdb.o  slowlog.o
crc16.o      memtest.c      redis-cli          solarisfixes.h
crc64.c      memtest.o      redis-cli.c        sort.c
源代码结构解析
看了上⾯src⽬录下的⽂件,简直让⼈眼花缭乱。这⾥不得不批评以下redis的作者啊,都没有整理⼀下源代码,统统都放在⼀个⽂件夹下。
正所谓不打⽆准备的仗,拿到源码之后,我们⾸先要对这些⽂件进⾏⼀个分类,来规划⼀下我们的阅读顺序。这⾥介绍⼀下在⽹上看到的源码阅读⽅法(摘⾃)。
⾃底向上:从耦合关系最⼩的模块开始读,然后逐渐过度到关系紧密的模块。就好像写程序的测试⼀样,先从单元测试开始,然后才到功能测试。
从功能⼊⼿:通过⽂件名(模块名)和函数名,快速定位到⼀个功能的具体实现,然后追踪整个实现的运作流程,从⽽了解该功能的实现⽅式。
⾃顶向下:从程序的 main() 函数,或者某个特别⼤的调⽤者函数为⼊⼝,以深度优先或者⼴度优先的⽅式阅读它的源码。
另外,按照黄健宏⽼师⼀⽂中介绍的redis阅读⽅法,基本上可以将上述⽂件进⾏合理的拆分,以便于对其进⾏⼀⼀攻破。
Redis源码模块
按照上图对Redis源码的模块划分,初步确定⼀下源码的学习路线如下:
第⼀阶段
阅读Redis的数据结构部分,基本位于如下⽂件中:
+ 内存分配 zmalloc.c和zmalloc.h
+ 动态字符串 sds.h和sds.c
+ 双端链表 adlist.c和adlist.h
+ 字典 dict.h和dict.c
+ 跳跃表 server.h⽂件⾥⾯关于zskiplist结构和zskiplistNode结构,以及t_zset.c中所有zsl开头的函数,⽐如 zslCreate、zslInsert、zslDeleteNode等等。
+ ⽇志类型 hyperloglog.c 中的 hllhdr 结构,以及所有以 hll 开头的函数
第⼆阶段
熟悉Redis的内存编码结构
+ 整数集合数据结构 intset.h和intset.c
+ 压缩列表数据结构 ziplist.h和ziplist.c
第三阶段
熟悉Redis数据类型的实现
+ 对象系统 object.c
+ 字符串键 t_string.c
+ 列表建 t_list.c
+ 散列键 t_hash.c
+ 集合键 t_set.c
+ 有序集合键 t_zset.c中除 zsl 开头的函数之外的所有函数
+ HyperLogLog键 hyperloglog.c中所有以pf开头的函数
第四阶段
熟悉Redis数据库的实现
+ 数据库实现 redis.h⽂件中的redisDb结构,以及db.c⽂件
+ 通知功能 notify.c
+ RDB持久化 rdb.c
+ AOF持久化 aof.c
以及⼀些独⽴功能模块的实现
+ 发布和订阅 redis.h⽂件的pubsubPattern结构,以及pubsub.c⽂件
+ 事务 redis.h⽂件的multiState结构以及multiCmd结构,multi.c⽂件
第五阶段
熟悉客户端和服务器端的代码实现
+ 事件处理模块 ae.c/ae_epoll.c/ae_evport.c/ae_kqueue.c/ae_select.c + ⽹路链接库 anet.c和networking.c
+ 服务器端 redis.c
+ 客户端 redis-cli.c
这个时候可以阅读下⾯的独⽴功能模块的代码实现
+ lua脚本 scripting.c
+ 慢查询 slowlog.c
+ 监视 monitor.c
第六阶段
这⼀阶段主要是熟悉Redis多机部分的代码实现
复制功能 replication.c
Redis Sentinel sentinel.c
集 cluster.c
其他代码⽂件介绍
关于测试⽅⾯的⽂件有:
+ memtest.c 内存检测
+ redis_benchmark.c ⽤于redis性能测试的实现。
+ redis_check_aof.c ⽤于更新⽇志检查的实现。
+ redis_check_dump.c ⽤于本地数据库检查的实现。
+ testhelp.c ⼀个C风格的⼩型测试框架。
⼀些⼯具类的⽂件如下:
+ bitops.c GETBIT、SETBIT 等⼆进制位操作命令的实现
+ debug.c ⽤于调试时使⽤
+ endianconv.c ⾼低位转换,不同系统,⾼低位顺序不同
+ help.h 辅助于命令的提⽰信息
+ lzf_c.c 压缩算法系列
+ lzf_d.c 压缩算法系列
+ rand.c ⽤于产⽣随机数
+ release.c ⽤于发布时使⽤
+ sha1.c sha加密算法的实现redis支持的数据结构
+ util.c 通⽤⼯具⽅法
+ crc64.c 循环冗余校验
+ sort.c SORT命令的实现
⼀些封装类的代码实现:
+ bio.c background I/O的意思,开启后台线程⽤的
+ latency.c 延迟类
+ migrate.c 命令迁移类,包括命令的还原迁移等
+ pqsort.c 排序算法类
+ rio.c redis定义的⼀个I/O类
+ syncio.c ⽤于同步Socket和⽂件I/O操作

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。