数据仓库规范qdh文档格式.docx

1、 在构建数据仓库时，至少应该具备以下物理几层：联通数据模型规范要求的层次数据中心物理模型层次名称物理表前缀维度数据层DIM_数据集市层（DM）展示层DM_主题域DW_F_轻度汇总层（MID）轻度汇总层DW_M_细节数据层（ODS/DWD）细节数据层DW_V_接口层（STAGE）接口层SRC_1.3数据库对象命名规范 所有数据库对象名称均使用26个大写英文字母、下划线或数字来命名，并不得以下划线开头。1.3.1 用户 用户名和表空间的名称应该采用同系统应用相似的英文字符或字符缩写，表空间所对应的一个或多个物理文件名也应有相关性。用户创建的数据索引最好和数据文件分开存放在不同表空间，以减少数据争用

2、和提高响应速度。 以上从逻辑上分出的各数据层应当在数据库中用户实现其分离，规定如下：数据层名称用户物理表备注SRC沉淀数据层DWDW_V,DW_M,DW_F数据集市层DM元数据层MDWMDW_目前未设计DIM1.3.2 数据库表空间 数据库表空间命名，原则上以数据仓库的基本分层结构为准，以TBS_作前缀，为避免单个表空间数据量过大，带来管理上的不便或者引起I/O瓶颈，对于STAG和ODS/DWD数据量比较大的层，可采用多个表空间存储数据，单表空间容量不要太大，以便于业务划分和存储管理为原则，建议单表空间容量控制在800G之内，表空间数据文件建议值为4G。 数据表空间数据仓库分层结构表空间名数据

3、文件/裸设备STAGTBS_STAG001TBS_STAGXXX2G=单设备文件=8G,建议值：4GDWDTBS_DWV001TBS_DWVXXX存放以dw_v开头的表INDX_TBS_DMV存放以dw_v开头的表的索引MIDTBS_MID同上TBS_DMINDX_TBS_DMDM索引TBS_DIM 表名长度不能超过28个字符，表名中含有单词全部采用单数形式，单词选择能够概括表内容的一个或多个英文单词，多个单词间使用下划线分割,单词如果过长可以使用缩写形式。命名规则如下：表的类型前缀层次说明示例维度表DIM_+主键客户视图DW_V_USER_DW_M_USER三个视图产品视图DW_V_PROD

4、_DW_M_PROD_市场营销视图DW_V_MART_DW_M_MART_发展域DW_F_DEV_8个主题域根据业务具体分为：移动业务DW_F_DEV_M_智能网DW_F_DEV_I_数固DW_F_DEV_D_收入域DW_F_INCO_使用域DW_F_USE_增值域DW_F_INC_成本域DW_F_COST_资源域DW_F_RES_竞争域DW_F_COMP_服务域DW_F_SERV_1.3.4 数据库分区表规范对于海量数据表要考虑设计为分区表。1. 三户日资料保存一个月，按日期主分区按地区子分区，2. 主分区命名为：P两位日期编码（如P01），3. 子分区命名为：P两位日期编码_SP地区编码（

5、如 P01_SP188）,并且必须加上月份字段否则没法区分是那月的资料。2.三户月资料按帐期主分区按地区子分区，主分区命名为：P帐期编码（如P），子分区命名为：P帐期编码_SP地区编码（如 P_SP188）。3.视图级日数据表按帐期和地区主分区按日期子分区，P帐期编码_地区编码（如P_188），P帐期编码_地区编码_SP两位日期编码（如 P_188_SP01）。4.视图级月数据表按帐期主分区按地区子分区，P帐期编码 （如P），5.主体域级数据按帐期主分区按日期子分区，主分区格式为：P帐期（如 P），子分区格式为：P帐期_SP两位日期编码（如 P_SP01）。老杨让把主题域建表分区规范改为：主体

6、域级数据按帐期和地区主分区按日期子分区，P帐期编码_地区编码_SP两位日期编码（如 P_188_SP01）1.3.5 数据库表索引命名以IDX+表名+一位流水号.例：IDX_ODS_BUSI_USER_1;如果表名过长可以使用缩写形式1.3.6 数据库表键值 主键命名以PK+表名+一位流水号（19）.例: PK_DEPT_1 ; 外键命名以FK+表名+一位流水号（19）.例: FK_DEPT_1;1.3.7 数据库字段命名规范数据库字段名中含有单词选择能够概括表内容的一个或多个英文单词，多个单词间使用下划线分割,单词如果过长可以使用缩写形式。一些基本字段名示例：用户id USER_NO用户数

7、USER_COUNTS话单数 CDR_NUM通话时长 CALL_DURATION计费次数 MOBILE_TIMES每个字段必须有注释，并且在生成SQL脚本时一并生成，创建表时必须创建注释。保持字段名和类型的一致性，同一字段名在不同表中必需保持同一数据类型。数据类型长度在定义时应稍大于目前标准的长度，用空间来换取将来变更带来的不便。1.3.8 数据库存储过程规范（1）存储过程命名规则：P_目标表。（2）存储过程要求有注释，注释内容为：列出创建人，创建用途，创建时间。（3）存储过程日志规范：每一存储过程均应记录执行存储过程的日志信息。必须调用专用写日志的存储过程，同时有exception时的处理机

8、制。（4）存储过程修改规范修改时应注释清楚修改人，修改日期，修改原因和修改内容。1.3.9 数据库函数命名规范函数命名规则F_功能，比如F_TRAN_AREA。1.3.10 据库触发器的命名规范触发器以TR作为前缀，触发器名为相应的表的别名加上后缀，INSERT触发器加_INSERT，Delete触发器加_DELETE，Update触发器加_UPDATE，如：TR_CUST_INSERT。1.3.11 序列命名规范 序列以S作为前缀，序列命名规则为S_字段别名。 二 实施流程规范（完善中。）（1）规划 对实施计划的规划.（2）设计 设计实施方案（包括统一模型的修改）。（3）实施 具体实施过程。

9、（4）测试 对实施结果测试。（5）反馈 对实施过程中收集到的相关信息（系统需求、实施中遇到的问题和测试结果等） 反馈到相关部门和人员。三 数据库安全管理规范为了规范管理，做好经营分析数据仓库的安全管理工作，实现不同的责任人不同的层次，将用户权限尽可能的管理起来同时又不影响正常工作，需要对数据库进行安全管理。 数据库安全管理从以下几个方面来进行：3.1. 用户组管理 对用户进行分类，目前经营分析应用用户可以分为如下几部分 前台程序开发人员 数据库开发人员 数据库管理员 外部使用人员 数据库管理人员由项目经理和数据经理来掌控，一般情况下不得使用DBA角色登陆数据库。 数据人员使用数据库开发人员角色

10、登陆，每个数据人员一个用户，归属数据库开发人员组。 前台程序开发人员，由界面开发人员使用，可以查看所有的表，但是无法进行DDL操作。 外部使用人员，主要是面向联通用户和临时用户 3.2. 用户权限设定 对不同的用户组，在不影响正常工作的情况下，对用户组及用户权限的设定原则为权限越小越好。3.3. 用户密码管理 对用户密码进行限制，必须由2位以上数字，2位以上字符，2位以上特殊字符组成 不允许用户密码和用户名同名 不允许用户密码和用户名相似3.4. 用户资源管理 除了系统使用的用户（SRC/ODS/DW）等外 对用户使用的系统资源进行限定 限定用户使用表空间 限定用户使用临时表空间 限定用户使用

11、回滚断 限定用户使用内存3.5. IP限定 对于普通用户，实行IP和用户名绑定的策略 对于外部开放用户，要进行IP申请，由数据经理或者项目经理审核通过后予以开通3.6. 数据库监控数据库监控，主要对以下几个方面进行监控：3.6.1. 数据库空间占用率select a.tablespace_name, free, total, round（b.total-a.free）/b.total）,2） 剩余占比from （ select tablespace_name,round（sum（bytes）/power（1024,3）,2） free from dba_free_space group by

12、tablespace_name ） a, （ select tablespace_name,round（sum（bytes）/power（1024,3）,2） total from dba_data_files ） bwhere a.tablespace_name = b.tablespace_name;3.6.2. 会话情况select *from v$session a, v$sql bwhere a.sql_address = b.address;3.6.3. aix操作系统中杀掉一些进程的脚本select kill -9 | p.spid|,s.sidfrom v$session s,

13、v$process pwhere s.paddr = p.addrand s.username is not nulland s.sid = 543.6.4. 查看JOBSELECT *FROM User_Jobs3.6.5. 分区操作查看分区子分区FROM ALL_TAB_PARTITIONSWHERE TABLE_NAME = DW_V_USER_MOBILEUSER；FROM ALL_TAB_SUBPARTITIONS;增加分区格式：alter table 表名 add partition分区名 values less than （值）如： alter table dm_reinnet_

14、user add partition p values less than （alter table dm_reinnet_user add subpartition p_SP001 values （002删除分区alter table 表名 drop partition partition 分区名 alter table dm_reinnet_user drop partition alter table dm_reinnet_user drop subpartition p_SP0013.6.6. 数据库的无效索引查看目前数据库中的索引情况3.6.7. 数据库的无效对象查看目前数据库的对象

15、有效性，主要针对脚本3.6.8. 数据库表分区的是否到达限额查看是否有表分区不满足需求的情况，这项监控根据具体需求来3.6.9. 数据库内存占用情况查看目前数据库内存的占用情况3.6.10. DDL语句的监控查看各种DDL语句的使用情况，记录操作者的IP，时间，用户名等情况3.6.11. 特定DML语句的监控对某些特定的重要的数据库对象，记录DML操作的历史3.7. 数据库审计3.7.1. 语句审计（Statement Auditing） 对预先指定的某些SQL语句进行审计。这里从SQL语句的角度出发，进行指定。 审计只关心执行的语句。 例如，audit CREATE TABLE;命令，就表明

16、对create table语句的执行进行记录。 不管这语句是否是针对某个对象的操作3.7.2. 权限审计（Privilege Auditing） 对涉及某些权限的操作进行审计。这里强调涉及权限命令，又可以表明对涉及CREATE TABLE权限的操作进行审计,所以说，在这 种命令的情况下，既产生一个语句审计，又产生了一个权限审计。有时候语句审计和权限审计的相 互重复的。这一点可以后面证明。3.7.3. 对象审计（Object Auditing） 记录作用在指定对象上的操作。四管理说明4.1 关于数据模型和数据仓库的管理为了使数据仓库安全、层次清晰、版本的稳定以及和总部模型的一致，我们规定数据经理

17、对数据仓库和数据模型全权负责，具体包括如下：1. 所有关于数据库结构的更改都要由数据经理完成，其中包括对控制文件、参数文件、日志文件、表空间等的修改。2. 删除原模型中的表、向模型中增加表或者向原有表中增加字段都要让数据经理知道、批准并且做好修改记录，修改后的模型以及修改记录要及时提交到总部的SVN服务器。修改记录参照：时间表名称更改说明修改人2007-4-2DW_F_INCO_M_CHARGE_MONTH字段IS_GROUP的类型改为VARCHAR2（1）屈大虎DW_V_USER_CHARGE_DAY增加字段AREA_NO、CITY_NO、LONG_TIMES、FLUX、ACCT_MONTH

18、DW_F_DEV_M_ONNET_USER更改入网年度字段IINNET_YEAR为入网年月INNET_MONTH；删除在网时长分档字段INNET_MONTH_LEVELDIM_USER_STATUS增加停机类型字段DW_V_USER_SINGLE_CALL_MONTH更名为DW_M_USER_SINGLE_CALL_MONTH增加一个免费标记字段IS_FREE2007-4-3DW_V_USER_CDR_NOMASTER增加一个无主详单表（河北需求）DW_M_USER_NAR_STW_DAY增加一个神通王用户日窄表（河北需求）DW_M_USER_NAR_STW增加一个神通王用户月窄表（河北需求）