数据库分⽚--Mycat的简单使⽤什么是数据库分⽚
⼀、海量数据的存储问题
随着互联⽹的发展,数据的量级也是指数的增长,从GB到TB到PB。对数据的各种操作也是
愈加的困难,传统的关系性数据库已经⽆法满⾜快速查询与插⼊数据的需求。这个时
候NoSQL的出现暂时解决了这⼀危机。它通过降低数据的安全性,减少对事务的⽀持,减
少对复杂查询的⽀持,来获取性能上的提升。
但是,在有些场合NoSQL⼀些折衷是⽆法满⾜使⽤场景的,就⽐如有些使⽤场景是绝对要
有事务与安全指标的。这个时候NoSQL肯定是⽆法满⾜的,所以还是需要使⽤关系性数据
库。如果使⽤关系型数据库解决海量存储的问题呢?此时就需要做数据库集,为了提⾼查
询性能将⼀个数据库的数据分散到不同的数据库中存储。
⼆、什么是数据库分⽚
简单来说,就是指通过某种特定的条件,将我们存放在同⼀个数据库中的数据分散存放到多
个数据库(主机)上⾯,以达到分散单台设备负载的效果。
数据的切分(Sharding)根据其切分规则的类型,可以分为两种切分模式。
(1)⼀种是按照不同的表(或者Schema)来切分到不同的数据库(主机)之上,这种切
可以称之为数据的垂直(纵向)切分
(2)另外⼀种则是根据表中的数据的逻辑关系,将同⼀个表中的数据按照某种条件拆分到
多台数据库(主机)上⾯,这种切分称之为数据的⽔平(横向)切分。
三、如何实现数据库分⽚
当数据库分⽚后,数据由⼀个数据库分散到多个数据库中。此时系统要查询时需要切换不同 的数据库进⾏查询,那么系统如何知道要查询的数据在哪个数据库中?当添加⼀条记录时要 向哪个数据库中插⼊呢?这些问题处理起来都是⾮常的⿇烦。
这种情况下可以使⽤⼀个数据库中间件mycat来解决相关的问题。
⼆、什么是Mycat
Mycat 背后是阿⾥曾经开源的知名产品——Cobar。Cobar 的核⼼功能和优势是 MySQL
数据库分⽚,此产品曾经⼴为流传,据说最早的发起者对 Mysql 很精通,后来从阿⾥跳槽 了,阿⾥随后开源 Cobar,并维持到 2013 年年初,然后,就没有然后了。
Cobar 的思路和实现路径的确不错。基于 Java 开发的,实现了 MySQL 公开的⼆进制传输 协议,巧妙地将⾃⼰伪装成⼀个 MySQL Server,⽬前市⾯上绝⼤多数 MySQL 客户端⼯具 和应⽤都能兼容。⽐⾃⼰实现⼀个新的数据库协议要明智的多。
Mycat 是基于 cobar 演变⽽来,对 cobar 的代码进⾏了彻底的重构,使⽤ NIO 重构了⽹ 络模块,并且
优化了 Buffer 内核,增强了聚合,Join 等基本特性,同时兼容绝⼤多数数据 库成为通⽤的数据库中间件。
简单的说,MyCAT就是:
⼀个新颖的数据库中间件产品⽀持mysql集,或者mariadb cluster,提供⾼可⽤性数据 分⽚集。你可以像使⽤mysql⼀样使⽤mycat。对于开发⼈员来说根本感觉不到mycat的 存在。
⼆、Mycat⽀持的数据库
三、Mycat的分⽚策略
四、概念说明
1、逻辑库(schema)
前⾯⼀节讲了数据库中间件,通常对实际应⽤来说,并不需要知道中间件的存在,业务开发
⼈员只需要知道数据库的概念,所以数据库中间件可以被看做是⼀个或多个数据库集构成 的逻辑库。
2、逻辑表(table)
既然有逻辑库,那么就会有逻辑表,分布式数据库中,对应⽤来说,读写数据的表就是逻辑 表。逻辑表,可以是数据切分后,分布在⼀个或多个分⽚库中,也可以不做数据切分,不分 ⽚,只有⼀个表构成。
分⽚表:是指那些原有的很⼤数据的表,需要切分到多个数据库的表,这样,每个分⽚都有 ⼀部分数据,所有分⽚构成了完整的数据。 总⽽⾔之就是需要进⾏分⽚的表。
⾮分⽚表:⼀个数据库中并不是所有的表都很⼤,某些表是可以不⽤进⾏切分的,⾮分⽚是 相对分⽚表来说的,就是那些不需要进⾏数据切分的表。
3、分⽚节点(dataNode)
数据切分后,⼀个⼤表被分到不同的分⽚数据库上⾯,每个表分⽚所在的数据库就是分⽚节 点(dataNode)。
4、节点主机(dataHost)
数据切分后,每个分⽚节点(dataNode)不⼀定都会独占⼀台机器,同⼀机器上⾯可以有
多个分⽚数据库,这样⼀个或多个分⽚节点(dataNode)所在的机器就是节点主机 (dataHost),为了规避单节点主机并发数限制,尽量将读写压⼒⾼的分⽚节点 (dataNode)均衡的放在不同的节点主机(dataHost)。
5、分⽚规则(rule)
前⾯讲了数据切分,⼀个⼤表被分成若⼲个分⽚表,就需要⼀定的规则,这样按照某种业务 规则把数据分到某个分⽚的规则就是分⽚规则,数据切分选择合适的分⽚规则⾮常重要,将 极⼤的避免后续数据处理的难度。
三,Cent_OS下的安装
第⼀步:查看mysql是否安装。
rpm -qa|grep mysql
第⼆步:如果mysql的版本不是想要的版本。需要把mysql卸载。
新浪博客appyum remove mysql mysql-server mysql-libs mysql-common
rm -rf /var/lib/mysql
rm /etc/myf游戏开发公司
第三步:安装mysql。需要使⽤yum命令安装。在安装mysql之前需要安装mysql的下载
源。需要从oracle的官⽅⽹站下载。
1)下载mysql的源包,放在服务器上
我们是centos6.4对应的rpm包为:arch.rpm
2)安装mysql下载源:
yum arch.rpm
3)在线安装mysql:
yum install mysql-community-server
第四步:启动mysql
service mysqld start
第五步:需要给root⽤户设置密码。
/usr/bin/mysqladmin -u root password '123456' // 为root账号设置密码
123456是你的密码
第六步:远程连接授权
进⼊命令⾏:
mysql -uroot -p123456
授权:
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
注意:'root'、'123456' 需要替换成实际的⽤户名和密码。
quit退出命令⾏
测试远程连接,注意关闭防⽕墙,配置固定的ip地址。
Mycat的默认端⼝号为:8066
四,MyCat分⽚
⼀、需求
thinkphp6开源商城把商品表分⽚存储到三个数据节点上。
⼆、安装环境分析
两台mysql数据库服务器:
Host1:192.168.100.11
Host2:192.168.100.12
mysql节点1环境
操作系统版本 : centos6.4
数据库版本 : mysql-5.6
mycat版本 :1.4 release
数据库名 : db1、db3
mysql是什么系统mysql节点2环境
操作系统版本 : centos6.4
数据库版本 : mysql-5.6
mycat版本 :1.4 release
数据库名 : db2
MyCat安装到节点1上(需要安装jdk)
三、配置l
1、l介绍
schema 标签⽤于定义MyCat实例中的逻辑库
Table 标签定义了MyCat中的逻辑表
dataNode 标签定义了MyCat中的数据节点,也就是我们通常说所的数据分⽚。
dataHost标签在mycat逻辑库中也是作为最底层的标签存在,直接定义了具体的数据库实例、读写分离配置和⼼跳语句。
注意:若是LINUX版本的MYSQL,则需要设置为Mysql⼤⼩写不敏感,否则可能会发⽣表不到的
问题。
在MySQL的配置⽂件中 vi /etc/myf [mysqld] 中增加⼀⾏ lower_case_table_names=1
配置后重启mysql服务 service mysqld restart
MySQL在Linux不到表名-处理忽略⼤⼩写
指针赋值需要取地址吗blog.csdn/h254532699/article/details/54318478
2、创建数据库
在第⼀台服务器上创建数据库db1、db3
在第⼆台服务器上创建数据库db2
3、l配置
schema中配置⼀个table节点
配置后重启mysql服务 service mysqld restart
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="org.opencloudb/">
<schema name="ttshop" checkSQLschema="false" sqlMaxLimit="100">
<!-- auto sharding by id (long) -->
<table name="tb_item" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
</schema>
<dataNode name="dn1" dataHost="localhost1" database="db1" />
<dataNode name="dn2" dataHost="localhost2" database="db2" />
火狐启用javascript<dataNode name="dn3" dataHost="localhost1" database="db3" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论