数据库PG和Oracle,详解Oracle,postgresql和mysql数据库架构
对⽐
总的来说,MySQL 可以看成是⼆层架构,第⼀层我们通常叫做SQL Layer,在MySQL 数据库系统处理底层数据之前的所有⼯作都是在这⼀层完成的,包括权限判断,sql 解析,执⾏计划优化,querycache 的处理等等; 第⼆层就是存储引擎层,我们通常叫做Storage Engine Layer,也就是底层数据存取操作实现部分,由多种存储引擎共同组成。所以,可以⽤如下⼀张最简单的架构⽰意图来表⽰MySQL 的基本架构,如图2-1 所⽰:
穿衣搭配在哪里学虽然从上图看起来MySQL 架构⾮常的简单,就是简单的两部分⽽已,但实际上每⼀层中都含有各⾃的很多⼩模块,尤其是第⼀层SQL Layer,结构相当复杂的。下⾯我们就分别针对SQL Layer 和Storage Engine Layer 做⼀个简单的分析。
SQL Layer 中包含了多个⼦模块,下⾯我将逐个做⼀下简单的介绍:
1、初始化模块
顾名思议,初始化模块就是在MySQL Server 启动的时候,对整个系统做各种各样的初始化操作,⽐如各种buffer,cache 结构的初始化和内存空间的申请,各种系统变量的初始化设定,各种存储引擎的初始化设置,等等。
2、核⼼API
核⼼API 模块主要是为了提供⼀些需要⾮常⾼效的底层操作功能的优化实现,包括各种底层数据结构的实现,特殊算法的实现,字符串处理,数字处理等,⼩⽂件I/O,格式化输出,以及最重要的内存管理部分。核⼼API 模块的所有源代码都集中在mysys和strings⽂件夹下⾯,有兴趣的读者可以研究研究。
3、⽹络交互模块
red1和red5底层⽹络交互模块抽象出底层⽹络交互所使⽤的接⼝api,实现底层⽹络数据的接收与发送,以⽅便其他各个模块调⽤,以及对这⼀部分的维护。所有源码都在vio ⽂件夹下⾯。
4、Client& Server 交互协议模块
巴中培训机构哪家好任何C/S 结构的软件系统,都肯定会有⾃⼰独有的信息交互协议,MySQL 也不例外。MySQL的Client & Server 交互协议模块部分,实现了客户端与MySQL 交互过程中的所有协议。当然这些协议都是建⽴在现有的OS 和⽹络协议之上的,如TCP/IP 以及Unix Socket。
5、⽤户模块
⽤户模块所实现的功能,主要包括⽤户的登录连接权限控制和⽤户的授权管理。他就像MySQL 的⼤门守卫⼀样,决定是否给来访者“开门”。
6、访问控制模块
造访客⼈进门了就可以想⼲嘛就⼲嘛么?为了安全考虑,肯定不能如此随意。这时候就需要访问控制模块实时监控客⼈的每⼀个动作,给不同的客⼈以不同的权限。访问控制模块实现的功能就是根据⽤户模块中各⽤户的授权信息,以及数据库⾃⾝特有的各种约束,来控制⽤户对数据的访问。⽤户模块和访问控制模块两者结合起来,组成了MySQL 整个数据库系统的权限安全管理的功能。
7、连接管理、连接线程和线程管理
连接管理模块负责监听对MySQL Server 的各种请求,接收连接请求,转发所有连接请求到线程管理模块。每⼀个连接上MySQL Server 的客户端请求都会被分配(或创建)⼀个连接线程为其单独服务。⽽
连接线程的主要⼯作就是负责MySQL Server 与客户端的通信,接受客户端的命令请求,传递Server 端的结果信息等。线程管理模块则负责管理维护这些连接线程。包括线程的创建,线程的cache 等。
8、Query 解析和转发模块
在MySQL 中我们习惯将所有Client端发送给Server 端的命令都称为query,在MySQL Server ⾥⾯,连接线程接收到客户端的⼀个Query 后,会直接将该query 传递给专门负责将各种Query 进⾏分类然后转发给各个对应的处理模块,这个模块就是query 解析和转发模块。其主要⼯作就是将query 语句进⾏语义和语法的分析,然后按照不同的操作类型进⾏分类,然后做出针对性的转发。
9、QueryCache 模块
Query Cache 模块在MySQL 中是⼀个⾮常重要的模块,他的主要功能是将客户端提交给MySQL 的Select 类query 请求的返回结果集cache 到内存中,与该query 的⼀个hash 值做⼀个对应。该Query 所取数据的基表发⽣任何数据的变化之后,MySQL 会⾃动使该query 的Cache 失效。在读写⽐例⾮常⾼的应⽤系统中,Query Cache 对性能的提⾼是⾮常显著的。当然它对内存的消耗也是⾮常⼤的。
10、Query 优化器模块
Query 优化器,顾名思义,就是优化客户端请求的query,根据客户端请求的query 语句,和数据库中
的⼀些统计信息,在⼀系列算法的基础上进⾏分析,得出⼀个最优的策略,告诉后⾯的程序如何取得这个query 语句的结果。
11、表变更管理模块
表变更管理模块主要是负责完成⼀些DML 和DDL 的query,如:update,delte,insert,create table,alter table 等语句的处理。
12、表维护模块
表的状态检查,错误修复,以及优化和分析等⼯作都是表维护模块需要做的事情。
13、系统状态管理模块
系统状态管理模块负责在客户端请求系统状态的时候,将各种状态数据返回给⽤户,像DBA 常⽤的各种showstatus 命
令,showvariables 命令等,所得到的结果都是由这个模块返回的。
14、表管理器
这个模块从名字上看来很容易和上⾯的表变更和表维护模块相混淆,但是其功能与变更及维护模块却完全不同。⼤家知道,每⼀个MySQL 的表都有⼀个表的定义⽂件,也就是*.frm⽂件。表管理器的⼯作主要就是维护这些⽂件,以及⼀个cache,该cache 中的主要内容是各个表的结构信息。此外它还维护table 级别的锁管理。
15、⽇志记录模块
⽇志记录模块主要负责整个系统级别的逻辑层的⽇志的记录,包括error log,binary log,slow query log 等。
16、复制模块
复制模块⼜可分为Master 模块和Slave 模块两部分, Master 模块主要负责在Replication 环境中读取Master 端的binary ⽇志,以及与Slave 端的I/O 线程交互等⼯作。
Slave 模块⽐Master 模块所要做的事情稍多⼀些,在系统中主要体现在两个线程上⾯。⼀个是负责从Master请求和接受binary ⽇志,并写⼊本地relay log 中的I/O 线程。另外⼀个是负责从relay log 中读取相关⽇志事件,然后解析成可以在Slave 端正确执⾏并得到和Master 端完全相同的结果的命令并再交给Slave 执⾏的SQL 线程。
17、存储引擎接⼝模块
存储引擎接⼝模块可以说是MySQL 数据库中最有特⾊的⼀点了。⽬前各种数据库产品中,基本上只有MySQL 可以实现其底层数据存储引擎的插件式管理。这个模块实际上只是⼀个抽象类,但正是因为它成功地将各种数据处理⾼度抽象化,才成就了今天MySQL 可插拔存储引擎的特⾊。
⼆.各模块⼯作配合
在了解了MySQL 的各个模块之后,我们再看看MySQL各个模块间是如何相互协同⼯作的。
接下来,我们通过启动MySQL,客户端连接,请求query,得到返回结果,最后退出,这样⼀整个过程来进⾏分析。
当我们执⾏启动MySQL 命令之后,MySQL 的初始化模块就从系统配置⽂件中读取系统参数和命令⾏参数,并按照参数来初始化整个系统,如申请并分配buffer,初始化全局变量,以及各种结构等。同时各个存储引擎也被启动,并进⾏各⾃的初始化⼯作。当整个系统初始化结束后,由连接管理模块接⼿。连接管理模块会启动处理客户端连接请求的监听程序,包括tcp/ip 的⽹络监听,还有unix 的socket。这时候,MySQL Server 就基本启动完成,准备好接受客户端请求了。
当连接管理模块监听到客户端的连接请求(借助⽹络交互模块的相关功能),双⽅通过Client & Server 交
互协议模块所定义的协议“寒
暄”⼏句之后,连接管理模块就会将连接请求转发给线程管理模块,去请求⼀个连接线程。
c语言程序设计实验教程课后答案线程管理模块马上⼜会将控制交给连接线程模块,告诉连接线程模块:现在我这边有连接请求过来了,需要建⽴连接,你赶快处理⼀下。连接线程模块在接到连接请求后,⾸先会检查当前连接线程池中是否有被cache 的空闲连接线程,如果有,就取出⼀个和客户端请求连接上,如果没有空闲的连接线程,则建⽴⼀个新的连接线程与客户端请求连接。当然,连接线程模块并不是在收到连接请求后马上就会取出⼀个连接线程连和客户端连接,⽽是⾸先通过调⽤⽤户模块进⾏授权检查,只有客户端请求通过了授权检查后,他才会将客户端请求和负责请求的连接线程连上。
在MySQL 中,将客户端请求分为了两种类型:⼀种是query,需要调⽤Parser 也就是Query 解析和转发模块的解析才能够执⾏的请求;⼀种是command,不需要调⽤Parser 就可以直接执⾏的请求。如果我们的初始化配置中打开了Full QueryLogging 的功能,那么Query 解析与转发模块会调⽤⽇志记录模块将请求计⼊⽇志,不管是⼀个Query 类型的请求还是⼀个command 类型的请求,都会被记录进⼊⽇志,所以出于性能考虑,⼀般很少打开Full QueryLogging 的功能。
当客户端请求和连接线程“互换暗号(互通协议)”接上头之后,连接线程就开始处理客户端请求发送过来的各种命令(或者query),接受相关请求。它将收到的query语句转给Query 解析和转发模块,Query 解
析器先对Query 进⾏基本的语义和语法解析,然后根据命令类型的不同,有些会直接处理,有些会分发给其他模块来处理。
如果是⼀个Query 类型的请求,会将控制权交给Query解析器。Query 解析器⾸先分析看是不是⼀个select 类型的query,如果是,则调⽤查询缓存模块,让它检查该query 在query cache 中是否已经存在。如果有,则直接将cache 中的数据返回给连接线程模块,然后通过与客户端的连接的线程将数据传输给客户端。如果不是⼀个可以被cache 的query类型,或者cache 中没有该query 的数据,那么query
springboot自动配置流程将被继续传回query 解析器,让query解析器进⾏相应处理,再通过query 分发器分发给相关处理模块。
如果解析器解析结果是⼀条未被cache 的select 语句,则将控制权交给Optimizer,也就是Query 优化器模块,如果是DML 或者是DDL 语句,则会交给表变更管理模块,如果是⼀些更新统计信息、检测、修复和整理类的query 则会交给表维护模块去处理,复制相关的query 则转交给复制模块去进⾏相应的处理,请求状态的query 则转交给了状态收集报告模块。实际上表变更管理模块根据所对应的处理请求的不同,是分别由insert 处理器、delete 处理器、update 处理器、create 处理器,以及alter 处理器这些⼩模块来负责不同的DML和DDL 的。
在各个模块收到Query 解析与分发模块分发过来的请求后,⾸先会通过访问控制模块检查连接⽤户是否有访问⽬标表以及⽬标字段的权限,如果有,就会调⽤表管理模块请求相应的表,并获取对应的锁。表管理模块⾸先会查看该表是否已经存在于table cache 中,如果已经打开则直接进⾏锁相关的处理,如果没有在cache 中,则需要再打开表⽂件获取锁,然后将打开的表交给表变更管理模块。
当表变更管理模块“获取”打开的表之后,就会根据该表的相关meta 信息,判断表的存储引擎类型和其他相关信息。根据表的存储引擎类型,提交请求给存储引擎接⼝模块,调⽤对应的存储引擎实现模块,进⾏相应处理。
mysql是什么系统不过,对于表变更管理模块来说,可见的仅是存储引擎接⼝模块所提供的⼀系列“标准”接⼝,底层存储引擎实现模块的具体实现,对于表变更管理模块来说是透明的。他只需要调⽤对应的接⼝,并指明表类型,接⼝模块会根据表类型调⽤正确的存储引擎来进⾏相应的处理。
当⼀条query 或者⼀个command 处理完成(成功或者失败)之后,控制权都会交还给连接线程模块。如果处理成功,则将处理结果(可能是⼀个Result set,也可能是成功或者失败的标识)通过连接线程反馈给客户端。如果处理过程中发⽣错误,也会将相应的错误信息发送给客户端,然后连接线程模块会进⾏相应的清理⼯作,并继续等待后⾯的请求,重复上⾯提到的过程,或者完成客户端断开连接的请求。
如果在上⾯的过程中,相关模块使数据库中的数据发⽣了变化,⽽且MySQL 打开了binlog 功能,则对应的处理模块还会调⽤⽇志处理模块将相应的变更语句以更新事件的形式记录到相关参数指定的⼆进制⽇志⽂件中。
在上⾯各个模块的处理过程中,各⾃的核⼼运算处理功能部分都会⾼度依赖整个MySQL的核⼼API 模块,⽐如内存管理,⽂件I/O,数字和字符串处理等等。
了解到整个处理过程之后,我们可以将以上各个模块画成如图2-2 的关系图:
下⾯这个是官⽅⽂档⾥的⼀个图:
Oracle体系结构介绍 --基础篇
在学习oracle中,体系结构是重中之重,掌握的越深⼊越好。在实际⼯作遇到疑难问题,其实都可以归结到体系结构中来解释,所以我们根据下⾯的⽰图了解⼀下oracle体系结构。
1. Summarize
根据⽰图,便于我们记忆,⽰图分三部分组成,左侧User Process、Server Process、PGA可以看做成Clinet端,上⾯的实例(Instance)和下⾯的数据库(Database)及参数⽂件(parameter file)、密码⽂件(password file)和归档⽇志⽂件(archived logfiles)组成Oracle Server,所以整个⽰图可以理解成⼀个C/S架构。
Oracle Server 由两个实体组成:实例(instance)与数据库(database)。这两个实体是独⽴的,不过连接在⼀起。在数据库创建过程中,实例⾸先被创建,然后才创建数据库。在典型的单实例环境中,实例与数据库的关系是⼀对⼀的,⼀个实例连接⼀个数据库,实例与数据库也可以是多对⼀的关系,即不同计算机上的多个实例打开共享磁盘系统上的⼀个公⽤数据库。这种多对⼀关系被称为实际应⽤集(
Real Application Clusters,RAC)RAC极⼤提⾼了数据库的性能、容错与可伸缩性(可能耗费更多的存储空间)并且是oracle⽹格(grid)概念的必备部分。
2. Client端
在Client端的作⽤是如何从客户端创建服务器进程与数据库进⾏交互的过程。
2.1 User process
⽤户运⾏⼀个应⽤程序时与Oracle数据库进程交互(例如:sql/plus)时,oracle创建⼀个⽤户进程来运⾏⽤户的应⽤程序。
2.2 Server process
Server Process是⽤来处理连接到实例的⽤户进程(User Process)提交的请求。当应⽤程序与Oracle服务器运⾏在同⼀台机器上时,某些⽤户进程(User Process)可以与Server Process合并为同⼀个进程,即便减⼩系统开销。从逻辑层⾯来讲,⽤户进程必须要通过⼀个Server Process来同Oracle进⾏通信的.(只不过有些时候在同⼀台机器的时候,某些User Process和Server Process会合并罢了)
2.3 PGA
PGA(Program Global Area)程序全局区,是⽤户进程连接到数据库并创建⼀个会话时,由Oracle服务器进程分配的专门⽤于当前⽤户会话的内存区,该区域是私有的。
为每个⽤户连接Oracle数据库保留的内存
当进程创建时分配
进程结束后被释放
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论