辽宁电信Teradata经分系统扩容方案.docx
《辽宁电信Teradata经分系统扩容方案.docx》由会员分享，可在线阅读，更多相关《辽宁电信Teradata经分系统扩容方案.docx（14页珍藏版）》请在冰豆网上搜索。
辽宁电信Teradata经分系统扩容方案
辽宁电信经分系统扩容方案
2010年03月
系统现状
中国电信辽宁分公司经营分析系统一期工程建设的目标旨在以省为中心、完成经分系统硬件平台的搭建及应用的部署，在系统架构、性能及功能具备融合全业务的基础上，首先应快速实现对电信新发展移动业务的承载，包括与相关网元接口的改造。
待系统平稳上线承接业务后，进一步完成对联通现有C网用户和业务的平稳割接。
整个系统架构以TERADATA可扩展数据仓库架构为基础，并结合辽宁电信的实际要求进行设计。
一期网络拓扑
辽宁电信在省中心建设集中的经营分析系统，数据统一集中到中央数据仓库内，完成数据的整合，提供统一的业务视图。
辽宁电信完整的一期经营分析系统物理体系结构如下图所示：
系统主要包括：
⏹数据加载系统
⏹中央数据仓库系统
⏹多维分析（OLAP）系统
⏹用户访问系统
一期中央数据仓库系统配置
系统使用2个2550节点和21.6TB的磁盘阵列，存放了到目前为止的所有辽宁电信经营分析系统数据。
系统结构示意图如下：
中央数据仓库服务器采用2节点的2550服务器，配置21.6TB的高速磁盘阵列，提供优良的数据查询与综合分析能力。
备份系统采用LAN-BASE的备份方式，所有的备份数据的处理、转换及备份的管理都转移到备份服务器上进行。
下表为当前系统配置描述：
配置描述
节点
2节点2550
磁盘阵列
2550磁盘阵列，配置72*300GB
备份方式
LAN-BASE方案：
1台SL500（2*LTO4），2台备份服务器，1台备份交换机
数据库
Teradata12
下表为一期系统配置清单：
设备
基本配置
数量
管理终端
TeradataAWSM40：
▪１颗４核心CPU
▪1G内存
▪2块146GB硬盘
▪1块DVD
▪MicrosoftWindowsServer2003
1
系统机柜（安装节点及磁盘阵列）
▪2台48口以太网交换机，用于Teradata内部网络。
▪1台第三代服务管理模块（3GSM）
▪1套结构化的布线（包括电源线、网线、BYNET线）
▪2块PDU单元
1
Teradata2550节点
▪2路四核IntelXeon2.33GHzCPUs，4MBCache
▪32GB内存
▪2个146GB内置硬盘
▪3块四口4GB光纤通道卡
▪4个10/100/1000以太网口（主板集成）
▪1个DVD
2
节点软件配置
▪SUSELinuxES10
▪TeradataR12
▪数据库工具软件：
TeradataManager
TeradataAnalystPack
TeradataFastExport
TeradataFastLoad
2
Teradata2550磁盘阵列
▪2块光纤通道控制口
▪12块300GB硬盘
6
Teradata9200磁带库
TERADATA9200SL500，配置2*LTO4，50Slots，可以和备份40TB（压缩后为80TB）
1
Teradata备份服务器
备份服务器TERADATABARSever，每台配置1颗四核CPU，4G内存，2块双口4GB光纤通道卡
2
Teradata备份交换机
TERADATABARSwitch，48口
1
备份软件
NetVault8.0
1
容量规划
随着辽宁电信业务的发展，以及市场竞争的加剧，对现有经营分析系统的支撑能力提出了更高的挑战。
为了更好的支撑辽宁电信的业务发展，经分系统需要进一步强化商业智能能力、提升数据应用水平、建设移动业务的竞争分析体系、完成省市两级的经营绩效考核、完成全网分析能力的提升，并能够满足2011年底全网650万用户（C网400万用户，固网用户250万用户）的经营分析能力支撑需要。
规划依据
在数据仓库系统应用中，数据量是影响系统规划和配置的重要因素。
对辽宁电信的数据仓库系统而言，需要存储包括：
⏹业务基本信息：
业务基本信息（如客户资料，产品和资费信息，用户欠费和余额等）永久保存。
⏹业务活动信息：
如通话详单，帐单，缴费和销帐记录等保留12个月以上。
⏹多维数据信息：
多维数据（如数据集市表等）保留二年以上，但历史数据的粒度可调整变大。
根据辽宁电信对数据备份的要求：
⏹业务基本信息：
基本信息做完整备份。
⏹业务活动信息：
业务活动信息每周进行增量备份，至少在一个月内进行一次完整备份。
⏹多维数据信息：
每月进行完整备份。
⏹备份数据保留三年。
超过上述期限的数据将备份到磁带上，并且在必要时可以恢复到数据仓库内供用户进行分析使用。
以下根据经分系统数据量发展情况做存储测算，为数据仓库系统的规划和配置提供依据。
数据估算关键依据为：
到2011年底辽宁电信固网用户250万，C网用户400万，共650万用户。
测算表
预计2011年底辽宁电信将达到C网400万用户，固网250万用户的规模，存储预估参数如下表：
统计项和算法
指标值
单位
用户数
2011年底用户数
6,500,000
户
固网
2,500,000
C网
4,000,000
语音话单数
语音话单字节数（增加了一些预留字段）
固网
200
Byte
C网
500
Byte
每人天语音话单量（单向收费带来20%增幅）
8
条
来访语音话单百分比
20.00%
数据业务话单数
短信、彩信话单
话单量
5
条
字节数
500
Byte
其它数据业务话单
话单量
2
条
字节数
1,000
Byte
其它业务话单
话单量
1
条
字节数
1,000
Byte
每用户资料字节数（1K）（仅指主用户表）
2,000
Byte
每用户各类静态资料字节数（含产品订购、服务功能等）
2,500
Byte
每用户1个月帐务资料字节数（含综合帐单、明细帐、调帐、欠费等）
2,000
Byte
客服
每用户每月客服次数（投诉、咨询）
1
次
客服记录字节数
1,000
Byte
业务办理
每用户每月业务办理次数（含缴费、业务办理、相关日志等）
3
次
业务办理记录字节数
1,000
Byte
1G
1,073,741,824
Byte
每月天数
30
天
主要话单条数
每天语音字节数
23,200,000,000
Byte
每天数据业务字节数
22,000,000,000
Byte
中央数据仓库原始容量测算如下：
数据仓库原始数据容量估算
每周期
存储量
设计存储
周期
设计存储量
单位
基础仓库层容量
（12+1）个月语音话单存储量
648.20
13
8,426.61
Gbyte
（12+1）个月数据业务话单存储量
614.67
13
7,990.75
Gbyte
（12+1）个月客服记录存储容量
6.05
13
78.70
Gbyte
12个月用户业务历史资料存储容量
18.16
12
217.93
Gbyte
用户静态资料数据量
27.24
1
27.24
Gbyte
12个月综合帐务资料
12.11
12
145.29
Gbyte
小计
1,326.44
16,886.51
Gbyte
中间层容量
7日清单汇总数据量（压缩比0.5）
21.05
7
147.34
Gbyte
6月清单汇总数据量（压缩比0.2）
252.57
3
757.72
Gbyte
7日用户级汇总数据量（放大系数5）
60.54
7
423.75
Gbyte
6月用户级汇总数据量（放大系数5）
60.54
3
181.61
Gbyte
统计临时表容量（比例系数0.2）
78.94
1
78.94
Gbyte
事实表个数
300
个
每月事实表容量（按照每个事实表每月大小200MB）
58.59
24
1406.25
GByte
小计
2,995.61
Gbyte
数据仓库原始数据容量总计
19,882.12
Gbyte
数据挖掘因子考虑为数据仓库的10%
1,988.21
Gbyte
数据原始空间合计
21,870.33
GByte
中央数据仓库数据磁盘空间测算如下：
统计项
参数
指标值
单位
数据原始空间
21,870.33
GByte
数据空间压缩后合计（压缩率30%）
0.30
15,309.23
GByte
数据仓库工作因子为数据仓库的9.3%
0.09
16,732.99
GByte
SPOOL空间考虑为数据空间的20%
0.20
20,079.59
GByte
采用RAID1存储
0.50
40,159.17
GByte
数据磁盘空间
40,159.17
GByte
即：
满足辽宁电信2011年底650万用户数据经营分析需要40,159.17GB的磁盘存储空间。
扩容方案
扩容需求
本期扩容要满足2011年底650万用户数据经营分析的需要，根据测算表计算结果，至少需要40TB的磁盘存储空间。
通过一期经分系统建设，目前已经具备2个2550节点和21.6TB的磁盘容量存储，因此，还需在现有平台基础上新增加2个节点和对等的存储。
配置描述
TERADATA建议新增2个节点的2580并行处理服务器主机，配置72*300磁盘，备份部分扩容，其配置清单如下表。
扩容设备
配置描述
节点
2n2580，每节点配置2颗四核CPU、48GB内存，2块内置146GB硬盘，SUSELinux10操作系统
磁盘阵列
配置72*300GB硬盘，磁盘容量21,600GB，数据库空间约9880GB
数据库软件
Teradata12数据库引擎及工具包
备份部分
扩容SL500，增加2*LTO4驱动器，100盘LTO4磁带；
增加1台备份服务器，配置1颗四核CPU，4G内存，2块内置146GB硬盘，SUSELinux10操作系统
增加NetVault备份软件相应License
扩容后中央数据仓库系统
数据仓库扩容后，系统共包括4台节点，144*300GB的硬盘，磁盘容量43,200GB，数据库空间可以达到19,760GB。
以下是系统扩容扩容前后的比较：
扩容前
增加
扩容后
节点
2n2550
2n2580
2550+2n5580
Cores/CPU
16/4
16/4
32/8
内存
64
96
160
磁盘阵列
72×300GB
72×300GB
144×300GB
磁盘空间（GB）
21,600
21,600
43,200
数据库可见空间（GB）
9,880
9,880
19,760
数据库软件
Teradata
升级会员 