MySQL云数据库服务的架构探索
  虽然近两年来NoSQL发展迅猛，但MySQL凭借其成熟的中间件和运维工具及良性的生态圈，在互联网企业中的应用仍然非常广泛，并占有主导地位。本文将深入探讨依托MySQL平台设计和实现的UMP系统的架构探索经验。
MySQL作为一种低成本、高性能、可靠性良好而且开源的数据库产品，在互联网企业中应用非常广泛。例如，淘宝网就有数千台MySQL服务器。虽然近两年来NoSQL的发展很快，新产品层出不穷，但在业务中应用NoSQL对开发者来说要求比较高，而MySQL拥有成熟的中间件、运维工具， 已经形成一个良性的生态圈。因此，在现阶段的应用中仍然以MySQL为主，NoSQL为辅。
在过去一年里，我们在MySQL托管平台方向做了大量工作，设计和实现了一套UMP（Unifield MySQL Platform）系统，提供低成本和高性能的MySQL云数据库服务。开发者从平台上申请MySQL实例资源，通过平台提供的单一入口来访问数据。 UMP系统内部维护和管理资源池，以透明的形式提供主从热备、数据备份、迁移、容灾、读写分离和分库分表等一系列服务。平台通过在一台物理机上运行多个 MySQL实例的方式来降低成本，并且实现
了资源隔离，按需分配和限制CPU、内存和I/O资源，同时在不影响提供数据服务的前提下，支持根据用户业务的 发展来动态扩容和缩容。
架构的演变
UMP系统第一版基于 MySQL Proxy 0.8版修复了若干Bug，并对Proxy插件中管理用户连接和数据库连接的状态机流程进行了修改；编写了Lua脚本实现到中心数据库获取用户认证信息和 后台数据库地址，来对用户进行验证；建立了到后台数据库的连接和转发数据包等逻辑（如图1所示）。
图1 UML系统的第一版（当时称作RDS系统）采用MySQL Proxy
在开发和部署第一版的过程中，我们逐渐认识到几个问题。
首先，MySQL Proxy 0.8版对多线程的支持比较简单粗暴，多个工作线程共享同一个消息队列，同时监听着同一个socketpair通道。当有新事件进入消息队列 后，socketpair会被写入一个字节，所有休眠中的线程都会被唤醒，去竞争一个互斥锁从消息队列中取任务。这种实现有几个问题：一是造成“惊”现 象，多个线程被唤醒但只有一个线程需要去完成任务；二是任务的CPU亲缘性比较差，在同一个状态机上触发的事件会在多个处理器上来回切换执行。此 外，MySQL Proxy中还使用了全局Lua锁，同时仅允许一个工作线程执行Lua脚本（计划在0.9版本中改进）。因此，在多线程模式下，MySQL Proxy的性能远不能同CPU核数保持线性增长，甚至在16核上的性能还不如4核。而使用单进程模式时，一台物理机上需要部署多个进程才能有效利用机器 的处理能力，但给部署、监控和服务的升级带来麻烦。
其次，由于MySQL Proxy的框架在功能上不容易扩展，所以实现用户的连接数限制、QPS限制及主从切换、读写分离、分库分表等功能比较困难。
最后，MySQL Proxy的社区近些年并不活跃，且C语言对开发者功底的要求比较高，很难要求团队所有成员协同开发出兼顾优雅和正确性的代码。
云数据库服务因此，我们决定用Erlang语言重新编写Proxy服务器，替换了原有的MySQL Proxy模块。目前，整个项目拥有5万行Erlang源码，3万行C/C++源码，2万行其他语言源码。
为什么选择Erlang语言
Erlang 是一个结构化的、动态的、函数式的编程语言。常见的一种说法是Erlang是面向并发的（Concurrent-Oriented），这主要指 Erlang在语言中定义了Erlang进程的概念和行为（本文中提到的“Erlang进程”都是指Erlang语言中定义的进程，以区分于大家熟悉的操作系统进程）。与操作系统的进程/线程相比，Erlang进程同样是并发执行的单位，但特别轻量级，它是在Erlang虚拟机内管理和调度的“绿进程”， 即用户态进程（如图2所示）。举个例子，在关闭了HiPE和SMP支持的Erlang虚拟机中，一个新创建的进程占用的内存仅为309个字 （Word，64位服务器上为8个字节）。其中233个字为堆空间（包含栈），创建和结束一个进程约耗时1~3微秒，而一个Erlang虚拟机中可以同时 支持几十万甚至更多个进程。
图2 Erlang的轻量级进程
说到Erlang语言，就必须提及OTP（Open Telecom Platform，开放电信平台）。OTP是用于开发分布式的、高容错性的Erlang应用程序的框架与平台。例如，一个Erlang节点连接并注册到 Erlang集上，发现集中的其他节点，并与它们进行RPC通信，这些都在OTP里的Kernel服务中实现。OTP和Erlang语言关系如此紧 密，以至于两者通常合称为Erlang/
OTP，因此从严格的意义上来讲，应该说我们选择了Erlang/OTP来构造UMP系统。Erlang/OTP 很好地抽象了开发一个分布式的、高容错性的应用程序所需的要素，包括网络编程框架、序列化和反序列化、容错、热部署。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。