数据仓库规范
一． 数据仓库层次结构规范
1.1 基本分层结构
系统的信息模型从存储的内容方面可以分为，STAGE接口信息模型、ODS/DWD信息模型，MID信息模型、DM信息模型、元数据信息模型。
在各个信息模型中存储的内容如下描述：
 
1)        SRC接口层信息模型：提供业务系统数据文件的临时存储，数据稽核，数据质量保证，屏蔽对业务系统的干扰，对于主动数据采集方式，以文件的方式描述系统与各个专业子系统之间数据接口的内容、格式等信息。与该模型对应的数据是各个专业系统按照该模型的定义传送来的数据文件。STAGE 是生产系统数据源的直接拷贝，由ETL过程对数据源进行直接抽取，在格式和数据定义上不作任何改变。与生产系统数据的唯一不同是，STAGE层数据具有时间戳。
    STAGE层存在的意义在于两点：
（1） 对数据源作统一的一次性获取，数据仓库中其他部分都依赖于STAGE层的数据，不再重复进行抽取，也不在生产系统上作运算，减小生产系统的压力；
（2） 在生产系统数据已经刷新的情况下，保存一定量的生产系统的历史数据，以便在二次抽取过程中运算出错的情况下可以进行回溯。
 
 
2)        ODS/DWD层（对应原模型的ODS和DW层）信息模型：简称DWD层是数据仓库的细节数据层，是对STAGE层数据进行沉淀，减少了抽取的复杂性，同时ODS/DWD的信息模型组织主要遵循企业业务事务处理的形式，将各个专业数据进行集中。为企业进行经营数据的分析，系统将数据按分析的主题的形式存放，跟STAGE层的粒度一致，属于分析的公共资源。
 
 
3)   MID 信息模型：轻度综合层是新模型增加的数据仓库中DWD层和DM层之间的一个过渡层次，是对DWD层的生产数据进行轻度综合和汇总统计。轻度综合层与DWD的主要区别在于二者的应用领域不同，DWD的数据来源于生产型系统，并为满足一些不可预见的需求而进行沉淀；轻度综合层则面向分析型应用进行细粒度的统计和沉淀。
 
4)   DM信息模型：为专题经营分析服务，系统将数据按分析的专题组织成多维库表的形式存放，属于分析目标范畴的数据组织与汇总，属于分析的专有资源。其信息主要来源于DWD 和MID层汇总，反映实时的经营状况，时间维度为天。而历史经营状况的分析，时间维度一般为月，同时也具有季度、年这样的维度。
 
5)  MDW元数据信息模型：描述数据及其环境的数据，即是对数据资源的描述,是信息共享和交换的基础和前提，用于描述数据集的内容、质量、表示方式、空间参考、管理方式以及数
据集的其他特征。一般来说,它有两方面的用途。首先,元数据能提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次,元数据能支持系统对数据的管理和维护, 元数据机制主要支持以下五类系统管理功能:
（１）描述哪些数据在数据仓库中;
（２）定义要进入数据仓库中的数据和从数据仓库中产生的数据;
（３）记录根据业务事件发生而随之进行的数据抽取工作时间安排;
（４）记录并检测系统数据一致性的要求和执行情况;
（５）衡量数据质量。
 
 
1.2 各层物理表前缀
    在构建数据仓库时，至少应该具备以下物理几层：
 
联通数据模型规范要求的层次
数据中心物理模型层次名称
物理表前缀
 
维度数据层
DIM_
数据集市层(DM)
展示层
DM_
主题域
DW_F_
轻度汇总层(MID)
轻度汇总层
DW_M_
细节数据层（ODS/DWD）
细节数据层
DW_V_
接口层（STAGE）
接口层
SRC_
 
1.3数据库对象命名规范
 所有数据库对象名称均使用26个大写英文字母、下划线或数字来命名，并不得以下划线开头。
1.3.1 用户
    用户名和表空间的名称应该采用同系统应用相似的英文字符或字符缩写，表空间所对应的一个或多个物理文件名也应有相关性。用户创建的数据索引最好和数据文件分开存放在不同表空间，以减少数据争用和提高响应速度。
  以上从逻辑上分出的各数据层应当在数据库中用户实现其分离，规定如下：
 
 
数据层名称
用户
物理表
备注
接口层
SRC
SRC
 
沉淀数据层
DW
DW_V,DW_M,DW_F
 
数据集市层
DM
DM_
 
元数据层
MDW
MDW_
目前未设计
维度数据层
DIM
DIM_
 
 
1.3.2 数据库表空间
数据库表空间命名，原则上以数据仓库的基本分层结构为准，以TBS_作前缀，为避免单个表空间数据量过大，带来管理上的不便或者引起I/O瓶颈，对于STAG和ODS/DWD数据量比较大的层，可采用多个表空间存储数据，单表空间容量不要太大，以便于业务划分和存储管理为原则，建议单表空间容量控制在800G之内，表空间数据文件建议值为4G。
∙数据表空间
数据仓库分层结构
用户
表空间名
数据文件/裸设备
STAG
SRC
TBS_STAG001
……
TBS_STAGXXX
2G=<单设备文件<=8G,建议值：4G
DWD
DW
TBS_DWV001
……
TBS_DWVXXX
存放以dw_v开头的表
INDX_TBS_DMV
存放以dw_v开头的表的索引
MID
 
MID
 
TBS_MID
同上
DM
数据库管理员英文
DM
TBS_DM
同上
INDX_TBS_DM
DM索引
DIM
DIM
TBS_DIM
同上
 表名长度不能超过28个字符，表名中含有单词全部采用单数形式，单词选择能够概括表内容的一个或多个英文单词，多个单词间使用下划线分割,单词如果过长可以使用缩写形式。
命名规则如下：
 
表的类型
前缀
层次
说明
示例
维度表
DIM_
DIM
DIM_+主键
 
客户视图
DW_V_USER_
DW_M_USER
DW
三个视图
 
产品视图
DW_V_PROD_
DW_M_PROD_
DW
 
市场营销视图
DW_V_MART_
DW_M_MART_
DW
 
发展域
DW_F_DEV_
DW
8个主题域
根据业务具体分为：
移动业务DW_F_DEV_M_
智能网DW_F_DEV_I_
数固DW_F_DEV_D_
收入域
DW_F_INCO_
DW
同上
使用域
DW_F_USE_
DW
同上
增值域
DW_F_INC_
DW
 
成本域
DW_F_COST_
DW
 
资源域
DW_F_RES_
DW
 
竞争域
DW_F_COMP_
DW
 
服务域
DW_F_SERV_
DW
 
 

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。