数据库与数据仓库的区别
简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。
  数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 数据库设计的意义
  数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。
  数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时间，部门，维表放的就是这些东西的定义，事实表里放着要查询的数据，同时有维的ID。
  单从概念上讲，有些晦涩。任何技术都是为应用服务的，结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台，客户在银行做的每笔交易都会写入数据库，被记录下来，这里，可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台，它从事务系统获取数据，并做汇总、加工，为决策者提供决策的依据。比如，某银行某分行一个月发生多少交易，该分行当前存款余额是多少。如果存款又多，消费交易又多，那么该地区就有必要设立ATM了。
  显然，银行的交易量是巨大的，通常以百万甚至千万次来计算。事务系统是实时的，这就要
求时效性，客户存一笔钱需要几十秒是无法忍受的，这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的，它要提供关注时间段内所有的有效数据。这些数据是海量的，汇总计算起来也要慢一些，但是，只要能够提供有效的分析数据就达到目的了。
  数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”。那么，数据仓库与传统数据库比较，有哪些不同呢?让我们先看看W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。
  “面向主题的”:传统数据库主要是为应用程序进行数据处理，未必按照同一主题存储数据;数据仓库侧重于数据分析工作，是按照主题存储的。这一点，类似于传统农贸市场与超市的区别—市场里面，白菜、萝卜、香菜会在一个摊位上，如果它们是一个小贩卖的;而超市里，白菜、萝卜、香菜则各自一块。也就是说，市场里的菜(数据)是按照小贩(应用程序)归堆(存储)的，超市里面则是按照菜的类型(同主题)归堆的。
  “与时间相关”:数据库保存信息的时候，并不强调一定有时间信息。数据仓库则不同，出于决策的需要，数据仓库中的数据都要标明时间属性。决策中，时间属性很重要。同样都是累计购买过九车产品的顾客，一位是最近三个月购买九车，一位是最近一年从未买过，这对于
决策者意义是不同的。
  “不可修改”:数据仓库中的数据并不是最新的，而是来源于其它数据源。数据仓库反映的是历史信息，并不是很多数据库处理的那种日常事务数据(有的数据库例如电信计费数据库甚至处理实时信息)。因此，数据仓库中的数据是极少或根本不修改的;当然，向数据仓库添加数据是允许的。
　数据仓库的出现，并不是要取代数据库。目前，大部分数据仓库还是用关系数据库管理系统来管理的。可以说，数据库、数据仓库相辅相成、各有千秋。
  补充一下，数据仓库的方案建设的目的，是为前端查询和分析作为基础，由于有较大的冗余，所以需要的存储也较大。为了更好地为前端应用服务，数据仓库必须有如下几点优点，否则是失败的数据仓库方案。
  1.效率足够高。客户要求的分析数据一般分为日、周、月、季、年等，可以看出，日为周期的数据要求的效率最高，要求24小时甚至12小时内，客户能看到昨天的数据分析。由于有的企业每日的数据量很大，设计不好的数据仓库经常会出问题，延迟1-3日才能给出数据，显然不行的。
  2.数据质量。客户要看各种信息，肯定要准确的数据，但由于数据仓库流程至少分为3步，
2次ETL，复杂的架构会更多层次，那么由于数据源有脏数据或者代码不严谨，都可以导致数据失真，客户看到错误的信息就可能导致分析出错误的决策，造成损失，而不是效益。
　3.扩展性。之所以有的大型数据仓库系统架构设计复杂，是因为考虑到了未来3-5年的扩展性，这样的话，客户不用太快花钱去重建数据仓库系统，就能很稳定运行。主要体现在数据建模的合理性，数据仓库方案中多出一些中间层，使海量数据流有足够的缓冲，不至于数据量大很多，就运行不起来了。
数据仓库是面向分析的,数据库是面向事务处理.
数据仓库的数据是基本不变得,而数据库的数据是由日常的业务产生的,常更新
数据仓库的数据一般有数据库的数据经过一定的规则转换得到得
数据仓库主要用来分析数据,一般是tb级的的数据,比如决策支持系统,数据挖掘等.
    数据库系统作为数据管理手段，从它的诞生开始，就主要用于事务处理。经过数十年的发展，在这些数据库中已经保存了大量的日常业务数据。传统的业务系统一般是直接建立在这种事务处理环境上的。随着技术的进步，人们试图让计算机担任更多的工作，而数据库技术
也一直力图使自己能胜任从事务处理、批处理到分析处理的各种类型的信息处理任务。后来人们逐渐认识到，在目前的计算机处理能力上，根本无法实现这种功能，而且，另一方面，事物处理和分析处理具有极不相同的性质，直接使用事务处理环境来支持决策是行不通的。
        事务处理环境不适宜DSS应用的原因主要有以下五条：
        （1）事务处理和分析处理的性能特性不同。
        在事务处理环境中，用户的行为特点是数据的存取操作频率高而每次操作处理的时间短；在分析处理环境中，用户的行为模式与此完全不同，某个DSS应用程序可能需要连续几个小时，从而消耗大量的系统资源。将具有如此不同处理性能的两种应用放在同一个环境中运行显然是不适当的。
        （2）数据集成问题。
        DSS需要集成的数据。全面而正确的数据是有效的分析和决策的首要前提，相关数据收集得月完整，得到的结果就越可靠。当前绝大多数企业内数据的真正状况是分散而非集成的。造成这种分散的原因有多种，主要有事务处理应用分散、“蜘蛛网”问题、数据不一致问
题、外部数据和非结构化数据。
（3）数据动态集成问题。
    静态集成的最大缺点在于，如果在数据集成后数据源中数据发生了变化，这些  变化将不能反映给决策者，导致决策者使用的是过时的数据。集成数据必须以一定的周期（例如24小时）进行刷新，我们称其为动态集成。显然，事务处理系统不具备动态集成的能力。 （4）历史数据问题。
    事务处理一般只需要当前数据，在数据库中一般也是存储短期数据，切不同数据的保存期限也不一样，即使有一些历史数据保存下来了，也被束之高阁，未得到充分利用。但对于决策分析而言，历史数据是相当重要的，许多分析方法必须一大量的历史数据为依托。没有历史数据的详细分析，是难以把握企业的发展趋势的。 DSS对数据在空间和时间的广度上都有了更高的要求，而事务处理环境难以满足这些要求。
（5）数据的综合问题。
    在事务处理系统中积累了大量的细节数据，一般而言，DSS并不对这些细节数据进行分析。
在分析前，往往需要对细节数据进行不同程度的综合。而事务处理系统不具备这种综合能力，根据规范化理论，这种综合还往往因为是一种数据冗余而加以限制。
    要提高分析和决策的效率和有效性，分析型处理及其数据必须与操作型处理及其数据相分离。必须把分析型数据从事务处理环境中提取出来，按照DSS处理的需要进行重新组织，建立单独的分析处理环境，数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术。
  数据仓库的关键技术
  那么，数据仓库都有哪些组成部分和关键技术呢？与关系数据库不同，数据仓库并没有严格的数学理论基础，它更偏向于工程。由于数据仓库的这种工程性，因而在技术上可以根据它的工作过程分为：数据的抽取、存储和管理、数据的表现以及数据仓库的设计的技术咨询四个方面。为此，我们将分别讨论每一个环节。
3.1  数据的抽取
  数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入到数据仓库。
数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等几个方面。数据仓库的数据并不要求与联机事务处理系统保持实时的同步，因此数据抽取可以定时进行，但多个抽取操作执行的时间、相互的顺序、成败对数据仓库中信息的有效性则至关重要。
在技术发展上，数据抽取所涉及的单个技术环节都已相对成熟，其中有一些是躲不开编程的，但整体的集成度还很不够。目前市场上所提供的大多是数据抽取工具。这些工具通过用户选定源数据和目标数据的对应关系，会自动生成数据抽取的代码。但数据抽取工具支持的数据种类是有限的；同时数据抽取过程涉及数据的转换，它是一个与实际应用密切相关的部分，其复杂性使得不可嵌入用户编程的抽取工具往往不能满足要求。因此，实际的数据仓库实施过程中往往不一定使用抽取工具。整个抽取过程能否因工具的使用而纳入有效的管理、调度和维护则更为重要。从市场发展来看，以数据抽取、异构互连产品为主项的数据仓库厂商一般都很有可能被其它拥有数据库产品的公司吞并。在数据仓库的世界里，它们只能成为辅助的角。
  3.2  数据的存储和管理
  数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库的特性，同时也决定了其对外部数据表现形式。要决定采用什么产品和技术来建立数
据仓库核心，则需要从数据仓库的技术特点着手分析
  数据仓库遇到的第一个问题是对大量数据的存储和管理。这里所涉及的数据量比传统事务处理大得多，且随时间的推移而累积。从现有技术和产品来看，只有关系数据库系统能够担当此任。关系数据库经过近30年的发展，在数据存储和管理方面已经非常成熟，非其它数据管理系统可比。目前不少关系数据库系统已支持数据分割技术，能够将一个大的数据库表分散在多个物理存储设备中，进一步增强了系统管理大数据量的扩展能力。采用关系数据库管理数百个GB甚至到TB的数据已是一件平常的事情。一些厂商还专门考虑大数据量的系统备份问题，好在数据仓库对联机备份的要求并不高。
  数据仓库要解决的第二个问题是并行处理。在传统联机事务处理应用中，用户访问系统的特点是短小而密集；对于一个多处理机系统来说，能够将用户的请求进行均衡分担是关键，这便是并发操作。而在数据仓库系统中，用户访问系统的特点是庞大而稀疏，每一个查询和统计都很复杂，但访问的频率并不是很高。此时系统需要有能力将所有的处理机调动起来为这一个复杂的查询请求服务，将该请求并行处理。因此，并行处理技术在数据仓库中比以往更加重要。
大家可以注意以下，在针对数据仓库的TPC-D基准测试中，比以往增加了一个单用户环境的
测试，成为 "系统功力 "（QPPD）。系统的并行处理能力对QPPD的值有重要影响。目前，关系数据库系统在并行处理方面已能做到对查询语句的分解并行、基于数据分割的并行、以及支持跨平台多处理机的集环境和MPP环境，能够支持多达上百个处理机的硬件系统并保持性能的扩展能力。
  数据仓库的第三个问题是针对决策支持查询的优化。这个问题主要针对关系数据库而言，因为其它数据管理环境连基本的通用查询能力都还不完善。在技术上，针对决策支持的优化涉及数据库系统的索引机制、查询优化器、连接策略、数据排序和采样等诸多部分。普通关系数据库采用B树类的索引，对于性别、年龄、地区等具有大量重复值的字段几乎没有效果。而扩充的关系数据库则引入了位图索引的机制，以二进制位表示字段的状态，将查询过程变为筛选过程，单个计算机的基本操作便可筛选多条记录。由于数据仓库中各数据表的数据量往往极不均匀，普通查询优化器所得出得最佳查询路径可能不是最优的。因此，面向决策支持的关系数据库在查询优化器上也作了改进，同时根据索引的使用特性增加了多重索引扫描的能力。 
  以关系数据库建立的数据仓库在应用时会遇到大量的表间连接操作，而连接操作对于关系数据库来说是一件耗时的操作。扩充的关系数据库中对连接操作可以做预先的定义，我们称
之为连接索引，使得数据库在执行查询时可直接获取数据而不必实施具体的连接操作。数据仓库的查询常常只需要数据库中的部分记录，如最大的前50家客户，等等。普通关系数据库没有提供这样的查询能力，只好将整个表的记录进行排序，从而耗费了大量的时间。决策支持的关系数据库在此做了改进，提供了这一功能。此外，数据仓库的查询并不需要像事务处理系统那样精确，但在大容量数据环境中需要有足够短的系统响应时间。因此，一些数据库系统增加了采样数据的查询能力，在精确度允许的范围内，大幅度提高系统查询效率。
  总之，将普通关系数据库改造成适合担当数据仓库的服务器有许多工作可以做，它已成为关系数据库技术的一个重要研究课题和发展方向。可见，对于决策支持的扩充是传统关系数据库进入数据仓库市场的重要技术措施。 
数据仓库的第四个问题是支持多维分析的查询模式，这也是关系数据库在数据仓库领域遇到的最严峻的挑战之一。用户在使用数据仓库时的访问方式与传统的关系数据库有很大的不同。对于数据仓库的访问往往不是简单的表和记录的查询，而是基于用户业务的分析模式，即联机分析。如图1.3所示，它的特点是将数据想象成多维的立方体，用户的查询便相当于在其中的部分维(棱)上施加条件，对立方体进行切片、分割，得到的结果则是数值的矩阵或向量，并将其制成图表或输入数理统计的算法。



关系数据库本身没有提供这种多维分析的查询功能，而且在数据仓库发展的早期，人们发
  数据仓库中的数据组织
    数据仓库中数据的四个基本特征在本章§1中已经介绍过了，下面就要分析清楚这些问题：数据仓库存储哪些数据呢？数据如何组织，存储？组织形式有哪些？等等。通过对数据仓库中存放的数据内容及其组织形式的介绍，本节将对这些问题做出回答，以加深对数据仓库数据四个基本特征的理解。  2.1  数据仓库的数据组织结构
一个典型的数据仓库的数据组织结构如图1.2所示:
数据仓库中的数据分为四个级别：早期细节级、当前细节级、轻度综合级、高度综合级。源数据经过综合后，首先进入当前细节级，并根据具体需要进行进一步的综合，从而进入轻度综合级乃至高度综合级，老化的数据将进入早期细节级由此可见，数据仓库中存在着不同的综合级别，一般称之为 "粒度 "。粒度越大，表示细节程度越低，综合程度越高。
数据仓库中还有一种重要的数据--元数据（metadata）。元数据是 "关于数据的数据 "，如在传统数据库中的数据字典就是一种元数据。在数据仓库环境下，主要有两种元数据：第一种
是为了从操作性环境向数据仓库转化而建立的元数据，包含了所有源数据项名、
图1.2  DW数据组织结构 
2.2粒度与分割
1.粒度
  粒度是数据仓库的重要概念。粒度可以分为两种形式，第一种粒度是对数据仓库中的数据的综合程度高低的一个度量，它既影响数据仓库中的数据量的多少，也影响数据仓库所能回答询问的种类。在数据仓库中，多维粒度是必不可少的。由于数据仓库的主要作用是DSS分析，因而绝大多数查询都基于一定程度的综合数据之上的，只有极少数查询涉及到细节。所以应该将大粒度数据存储于快速设备如磁盘上，小粒度数据存于低速设备如磁带上。
还有一种粒度形式，即样本数据库。它根据给定的采样率从细节数据库中抽取出一个子集。这样样本数据库中的粒度就不是根据综合程度的不同来划分的，而是有采样率的高低来划分，采样粒度不同的样本数据库可以具有相同的数据综合程度。
2.分割
分割是数据仓库中的另一个重要概念,它的目的同样在于提高效率。它是将数据分散到  各自的物理单元中去,以便能分别独立处理。有许多数据分割的标准可供参考:如日期、地  域、业
务领域等等,也可以是其组合。一般而言,分割标准总应包括日期项,它十分自然而且分割均匀。
2.3  数据仓库的数据组织形式
这里简单介绍数据仓库中常见的数据组织形式：
1.  简单堆积文件:  它将每日由数据库中提取并加工的数据逐天积累并存储起来。
2.  轮转综合文件:  数据存储单位被分为日、周、月、年等几个级别。在一个星期的七天中，数据被逐一记录在每日数据集中；然后,七天的数据被综合并记录在周数据集中；接下去的一个星期，日数据集被重新使用，以记录新数据。同理,周数据集达到五个后，数据再一次被综合并记入月数据集。以此类推。轮转综合结构十分简捷，数据量较简单堆积结构大大减少。当然，它是以损失数据细节为代价的，越久远的数据，细节损失越多。
3.  简化直接文件:  它类似于简单堆积文件，但它是间隔一定时间的数据库快照，比如每隔一星期或一个月作一次。
4.  连续文件:  通过两个连续的简化直接文件，可以生成另一种连续文件，它是通过比较两个简单直接文件的不同而生成的。当然，连续文件同新的简单直接文件也可生成新的连续文件。
对于各种文件结构的最终实现，在关系数据库中仍然要依靠 "表 "这种最基本的结构。

2.4  数据仓库的数据追加
如何定期向数据仓库追加数据也是一个十分重要的技术。我们知道,数据仓库的数据是  来自OLTP的数据库中，问题是我们如何知道究竟哪些数据是在上一次追加过程之后新生成  的。常用的技术和方法有:
  ·时标方法:  如果数据含有时标，对新插入或更新的数据记录，在记录中加更新时的时标，那么只需根据时标判断即可。但并非所有的数据库中的数据都含有时标。
  ·DELTA文件:  它是由应用生成的,记录了应用所改变的所有内容。利用DELTA文件效率  很高，它避免了扫描整个数据库，但同样的问题是生成DELTA文件的应用并不普遍。此外，还有更改应用代码的方法，使得应用在生成新数据时可以自动将其记录下来。但应用成千上万，且修改代码十分繁琐，这种方法很难实现。
　 ·前后映象文件的方法:  在抽取数据前后对数据库各作一次快照，然后比较两幅快照的不同从而确定新数据。它占用大量资源，对性能影响极大，因此并无多大实际意义。
  ·日志文件:  最可取的技术大概是利用日志文件了，因为它是DB的固有机制，不会影响O  L
TP的性能。同时，它还具有DELTA文件的优越性质，提取数据只要局限日志文件即可，不用扫描整个数据库。当然,原来日志文件的格式是依据DB系统的要求而确定的，它包含的数据对于数据仓库而言可能有许多冗余。比如，对一个记录的多次更新，日志文件将全部变化过程都记录下来；而对于数据仓库，只需要最终结果。但比较而言，日志文件仍然是最可行的一种选择。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。