产品简介
分析型数据库产品概述
随着企业IT和互联网系统的发展,越来越多的数据被产生了。数据的量的积累带来了质的飞跃,使得数据系统从业务系统的一部分演变得愈发独立,通过对数据的分析和挖掘产生自己独特的价值。 在业务系统中,我们通常使用的是OLTP(OnLine Transaction Processing ,联机事务处理)系统,如MySQL, MicroSoft SQL Server等关系数据库系统。这些关系数据库系统擅长事务处理,在数据操作中保持着很强的一致性和原子性
,能够很好的支持频繁的数据插入和修改,但是,一旦需要进行计算的数据量过大,达到数千万甚至数十亿条,或需要进行的计算非常复杂的情况下,OLTP类数据库系统便力不从心了。
图0-1 分析型数据库和主流数据系统的对比(数据未经严格测试,仅供参考)
这个时候,我们便需要OLAP(On-Line Analytical Processing,联机分析处理)系统,来进行处理。从广义上,OLAP系统是针对OLTP系统而言的,暨不特别关心对数据进行输入、修改等事务性处理,而是关心对已有的大量数据进行多维度的、复杂的分析的一类数据系统。而在具体的产品中,我们通常将OLAP系统分为MOLAP、ROLAP和HOLAP三种。 多维OLAP(Multi-Dimensional OLAP,简称MOLAP),是预先根据数据需要分析的维度进行建模,在数据的物理存储层面以"立方体"(Cube)的结构进行存储,具有查询速度快等的优点,但是数据必须预先建模,无法依据使用者的意愿进行即时的修改。而关系型OLAP(RelationalOLAP,简称ROLAP),则使用类似关系数据库的模型进行数据存储,通过类似SQL等语言进行查询和计算,优点是数据查询计算自由,可以灵活的根据使用者的要求进行分析,但是缺点是在海量数据的情况下分析计算缓慢。至于HOLAP,则是MOLAP和ROLAP的混合模式。 而阿里云分析型数据库(原名:分析数据库服务ADS),则是一套RT-OLAP(Realtime OLAP,实时OLAP)系统。在数据存储模型上,采用自由灵活的关系模型存储,可以使用SQL进行自由灵活的计算分析,无需预先建模,而利用云计算技术,分析型数据库可以在处理百亿条甚至更多量级的数据上达到甚至超越MOLAP类系统的处理性能,真正实现百亿数据毫秒级计算。
阿里云分析型数据库让海量数据和实时与自由的计算可以兼得,实现了速度驱动的大数据商业变革。一方面
---------------,分析型数据库拥有快速处理百亿级别的大数据的能力,使得数据分析中使用的数据可以不再是抽样的,而是业务系统中产生的全量数据,使得数据分析的结果具有最大的代表性。而更重要的是,分析型数据库采用云计算技术,拥有强大的实时计算能力,通常可以在数百毫秒内完成十亿百亿的数据计算,使得使用者可以根据自己的想法在海量数据中自由的进行探索,而不是根据预先设定好的逻辑查看已有的数据报表。 同时,由于分析型数据库能够支撑较高并发查询量,并且通过动态的多副本数据存储计算技术来保证较高的系统可用性,所以能够直接作为面向最终用户(End User)的产品(包括互联网产品和企业内部的分析产品)的后端系统。如淘宝数据魔方、淘宝指数、快的打车、阿里妈妈达摩盘(DMP)、淘宝美食频道等拥有数十万至上千万最终用户的互联网业务系统中,都使用了分析型数据库。 分析型数据库作为海量数据下的实时计算系统,给使用者带来极速自由的大数据OLAP分析体验,最终期望为大数据行业带来巨大的变革。我们欢迎有各类相关需求的用户使用分析型数据库并向我们提出宝贵的建议。
使用场景
海量数据下CRM、DMP业务
报表型大数据产品
Ad-Hoc类大数据产品
需要频繁交互和分析的内部BI系统
将海量数据直接对接应用于业务系统的应用
替换传统企业内部OLAP引擎
版本变更历史(Release Note) V0.9.15(2016-06-21)
新增 增加大容量实例,大存储实例单GB存储成本下降10倍以上(目前仅限邀请测试,未来公开售卖)
新增 增加新的Full MPP Mode计算引擎,SQL功能完整度大幅度提升,完整支持跨分区计算(目前仅限邀请测试,未来全面开放)
新增 支持create table [as] select, insert into…select等通过已有数据生成临时表的功能
新增 实时写入模式的表支持二级分区,能够支持更大的单表数据量
新增 全新的运维控制台
优化 无需预先建立hashmap索引即可表关联
优化 查询、optimize table等功能的多项性能优化
V0.8.43(2016-05-24)
新增 支持访问控制(RAM)子账号访问分析型数据库,并支持通过访问控制(RAM)控制子账号在分析型数据库实例级别的权限控制
修复 修复实例性能信息在大访问量下可能无法更新的问题
V0.8.38(2016-04-25)
----
-
---
----
--
----
--
--新增 支持动态修改已有表最大二级分区数
新增 支持设置DB级别IP访问白名单(暂时需要提工单申请)修复 控制台显示磁盘使用率不准确(偏低)
优化 实时写入表的写入稳定性
V0.8.35(2016-03-20)
新增 小表广播模式Join支持
V0.8.30(2016-03-09)
新增 包月套餐优惠模式
新增 用户可通过query_profile查询SQL性能
修复 FRONTNODE大查询量下容易内存不足的问题
V0.8.18 (2015-12-22)
优化 实时写入表的内存占用和查询性能,并在系统资源无法承担时拒绝新的insert/delete,升级后
c1规格的客户也可以申请开通实时写入。(注:实时写入目前仍然是内测功能,有需要的客户请提交工单申请开通)
新增 增强 "show variables like " 、"show collation like" 和 "show session like " 的功能,与
MySQL标准更加接近。
修复 实时写入时若临近的1000条总大小超过8MB会可能导致写入延迟一天生效的bug。(注:实时写入目前仍然是内测功能,有需要的客户请提交工单申请开通)。
优化 增强了和部分BI工具的兼容性,如在mysql connector OBDC 5.1.7版本下可部分兼容
QlikSense。
修复 一些权限管理相关的以及其他bug。
新增 对于实时化表增加了用户手动optimize的命令。
V0.8.13 (2015-10-27)
新增 正式加入Tableau Desktop、Qlikview等BI工具对分析型数据库的连接支持
优化 实时写入的性能和稳定性,修复了部分严重bug
常见mpp数据库变更 在SQL查询结尾去掉 "_"调试列的返回
变更 select * from table… 时,每一列的列名返回格式从 db_name.lumn_name 变更为只有column_name(与MySQL返回格式兼容)
变更 使用非分区列count distinct等有计算数据量数限制的功能时,若读取数据量超过限制,则报异常(错误代码20042)
变更 产品正式名称由 阿里云分析数据库服务ADS 变更为 阿里云分析型数据库(Analytic DB)
V0.8.3 (2015-09-22)
新增 0.8.2版本对应功能对全体用户课件
修复 修正了information_schema.tables中的type_name一列内容与MySQL标准不一致的问题,该
列由字符串类型修正为数字类型,若您的业务依赖此ID,请依此做相应的修改。
-------------------新增 ADS将向阿里云计量系统推送计量信息(但是还不会产生实际费用)
修复 大量的Bugfix和性能优化,以及若干的其它功能改进,届时请参照发布后的ADS用户手册
V0.8.2 (2015-08-27) 新增 现在您可以基于ECU(弹性计算单元)来自行管理您的数据库使用的资源量,并且方便的进行弹性扩容/缩容。详见届时发布的用户手册。
变更 废弃之前版本的基于业务类型(APP/BI/Ad-Hoc)的资源分配模型,您已有的DB已经帮您迁移到
新的基于ECU的资源模型中。升级成功后,您可以对我们的迁移结果进行review并自行调整ECU相关参数。
新增 ADS的任何组件,均将支持多租户隔离,其它用户的行为将不再影响到您。(目前数据导入除外)
新增 实时写入功能(内测,需申请白名单开通)发布第二期,支持delete任意where条件的列(但不支持函数作为条件),支持实时写入表建立后增加列,一定程度的优化了insert/delete语句的性能。新增 ADS控制台(DMS for ADS)中统计数据库的磁盘空间更加准确,并支持通过DMS查看当前ECU资源量、扩容、缩容等操作。并且用户的DB的磁盘使用信息会推送到阿里云云监控中,支持用户在云监控中建立针对磁盘使用率的报警规则。
新增 新增一系列日期相关函数minute, second, hour,datediff, to_days
修复 大量的Bugfix和性能优化,以及若干的其它功能改进,届时请参照发布后的ADS用户手册 docs.aliyun/?tag=tun#/ads
V0.7.20 (2015-07-14)
新增连接协议兼容MySQL ODBC驱动,并增强了部分BI工具、MySQL管理工具通过MySQL协议连接
ADS的兼容性
新增 insert into 支持在插入全部列的情况下省略column list
新增 SHOW CREATE TABLE 显示已有表的DDL功能
修复 若干bug修复和性能优化;
修复 非分区列count distinct功能在数据量过大无法计算时会报错而非返回不完整结果
V0.7.11 (2015-06-25)
新增 minus语法
新增 udf_sys_count_distinct_column函数
新增 支持常量列,例如 select 1 as a from tbl
修复 week系列函数修正为与MySQL标准完全一致
修复 其它bug修复和性能优化
V0.7.2 (2015-05-26)
新增 实时insert/delete功能(该功能最近一个月内需白名单开通,有需要的客户请提交工单申请);新增
MySQL连接协议上兼容MySQL 5.5/5.6,以及支持C#连接;
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论