mysql⼤数据分库和分表php解决⽅案php调用mysql数据库
当Mysql数据量过⼤时,就会⾯临压⼒分解,这时分库分表是⼀个不错的解决⽅案,现在我们就来谈谈Mysql如何分库分表⽐较理想,然后再⽤php如何调⽤。
1,主从复制,读写分离对主库修改数据,查询使⽤从库。⼀主多从,来降低读取压⼒。2,分库分表根据实体业务来分库,分表。如,根据数据的活跃性,根据⽤户uid等。3,mysql 不同存储引擎区别InnoDB ⽤于数据完整性/写性能要求⽐较⾼的应⽤. MyISAM 适合查询应⽤。分表是分散数据库压⼒的好⽅法。分表,最直⽩的意思,就是将⼀个表结构分为多个表,然后,可以再同⼀个库⾥,也可以放到不同的库。当然,⾸先要知道什么情况下,才需要分表。个⼈觉得单表记录条数达到百万到千万级别时就要使⽤分表了。1,分表的分类1>纵向分表将本来可以在同⼀个表的内容,⼈为划分为多个表。(所谓的本来,是指按照关系型数据库的第三范式要求,是应该在同⼀个表的。)分表理由:根据数据的活跃度进⾏分离,(因为不同活跃的数据,处理⽅式是不同的)案例:对于⼀个博客系统,⽂章标题,作者,分类,创建时间等,是变化频率慢,查询次数多,⽽且最好有很好的实时性的数据,我们把它叫做冷数据。⽽博客的浏览量,回复数等,类似的统计信息,或者别的变化频率⽐较⾼的数据,我们把它叫做活跃数据。所以,在进⾏数据库结构设计的时候,就应该考虑分表,⾸先是纵向分表的处理。这样纵向分表后:⾸先存储引擎的使⽤不同,冷数据使⽤MyIsam 可以有更好的查询数据。活跃数据,可以使⽤Innodb ,可以有更好的更新速度。其次,对冷数据进⾏更多的从库配置,因为更多的操作时查询,这样来加快查询速度。对热数据,
可以相对有更多的主库的横向分表处理。其实,对于⼀些特殊的活跃数据,也可以考虑使⽤memcache ,redis之类的缓存,等累计到⼀定量再去更新数据库。或者mongodb ⼀类的nosql 数据库,这⾥只是举例,就先不说这个。2>横向分表字⾯意思,就可以看出来,是把⼤的表结构,横向切割为同样结构的不同表,如,⽤户信息表,user_1,user_2 等。表结构是完全⼀样,但是,根据某些特定的规则来划分的表,如根据⽤户ID来取模划分。分表理由:根据数据量的规模来划分,保证单表的容量不会太⼤,从⽽来保证单表的查询等处理能⼒。案例:同上⾯的例⼦,博客系统。当博客的量达到很⼤时候,就应该采取横向分割来降低每个单表的压⼒,来提升性能。例如博客的冷数据表,假如分为100个表,当同时有100万个⽤户在浏览时,如果是单表的话,会进⾏100万次请求,⽽现在分表后,就可能是每个表进⾏1万个数据的请求(因为,不可能绝对的平均,只是假设),这样压⼒就降低了很多很多。1,背景:⼀个地址薄的应⽤程序,设计的⽤户量为2亿,统计出每个⽤户的地址薄为30个左右,整个数据量为60亿,使⽤mysql数据库(亿级数据库设计)计划分为:1000个表,100个库2,分库分表代码private function getDbNo($email){    $m = md5($email);    $n = hexdec(($m, 0, 16));    $tableNo = fmod($n, 1000);    $dbNo = $tableNo % 100;    return array($dbNo, $tableNo);}3,配合的连接访问代码require_once ‘Db/Config.php’;class Db_Adapter{    const MASTER    = 0;    const SLAVE    = 1;    private static $instances = array();    private $conf = array();    private $conns = array();    private $conn = NULL;    private $stmt = NULL;    public function __construct($conf)    {        $this->conf = $conf;    }    public function execute($sql, $params)    {        $cmd = substr(strtolower(trim($sql)), 0, 6);        if ($cmd
== ‘’) {            $conn = $this->getConn(self::SLAVE);        } else {            $conn = $this->getConn(self::MASTER);        }        $conn->prepare($sql);        $stmt = $conn->execute($params);        $this->conn = $conn;      $this->stmt = $stmt;    }    public function fetch()    {        return $this->stmt->fetch();    }    public function fetchAll()    {        return $this->stmt->fetchAll();    }  public function lastInsertId($name = NULL)    {        return $this->conn->lastInsertId($name);    }    public function rowCount()    {        return $this->stmt->rowCount();    }    private function getConn($type)    {        if ($type == self::SLAVE && isset($this->conf[self::SLAVE])) {            $id = 0;        } else {          $id = 1;        }        if (!isset($this->conns[$id])) {            $conf = $this->conf[$id];            $this->conns[$id] = new PDO(                $conf['dsn'], $conf['user'], $conf['pass'],                self::dbOptions);        }        return $this->conns[$id];    }    public static function getInstance($dbName, $dbNo = 0)    {        $key = $dbName . ‘_’ . $dbNo; if (!isset(self::$instances[$key])) { $conf = Db_Config::getConfig($dbName, $dbNo); //连接配置参数self::$instances[$key] = new self($conf);        }        return self::$instances[$key];    }}4,潜在问题如果某个表中的那些⽤户的地址薄联系⼈超多,如每个⼈1000个,则可能出现该表超⼤,需要把该表区分为⼦表,暂时没有配置中⼼来处理该情况。(若真的出现该情况,在连接参数这个地⽅继续作⼀次hash)。

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。