Greenplum数据库安装方案Word下载.docx
《Greenplum数据库安装方案Word下载.docx》由会员分享,可在线阅读,更多相关《Greenplum数据库安装方案Word下载.docx(26页珍藏版)》请在冰豆网上搜索。
Standbymaster(Standbymaster管理节点)主要作为master管理节点的热备份节点,当master管理节点宕机时Standbymaster则扮演master管理节点角色。
Node/segmenthost(Segment数据节点)主要负责运行Segmentinstances(Segment实例)的服务进程,支撑多少个Segment实例取决于Segment数据节点CPU核数。
PrimarySegment(主实例)存放数据库一部分独立数据(即每个主实例存放的数据完全不一样),主要负责处理查询等任务,每个Segment数据节点能配置多少个主实例取决于CPU等物理配置情况。
当加载数据至数据库时,数据库按既定的分配算法决定实例分别存放哪些数据,当master将执行计划发给各实例,各实例主要处理其负责的那部分数据。
Mirrorsegment(镜像实例)主要作为PrimarySegment(主实例)的热备份节点,当PrimarySegment(主实例)不可用时Mirrorsegment(镜像实例)则扮演master管理节点角色。
Interconnectswitches(互连交换机)是Greenplum数据库环境的通信核心,主要负责各节点的通信交互。
11.2硬件环境
1.Master/Standby服务器
Master硬件信息
设备型号
华为RH2288HV2<
1>
CPU
英特尔志强8核E5-2650V22.6GHz处理器2*8core
内存
192G
磁盘
23*900GB
网卡端口
4*1GE+4*10GB口
服务器数量
2
2.,Segment服务器
Slaver硬件信息
17(当前环境13台)
3.万兆网络
2台华为交换机9300做了交换机堆叠配置,每台服务器连接2条万兆网线,分别连接到两台交换机,在主机上配置网卡聚合,实现负载均衡和容错。
11.3磁盘硬件RAID设计
考虑数据安全性、可靠性、运行性能和容量需求,在硬件方面采用RAID进行进行数据保护。
对于磁盘RAID设置要求:
RAID卡打开“WriteBack”Cache设置和“Readahead”读策略。
分成2组RAID5:
12*900G+11*900G。
11.4网络IP规划
为了最大程度满足性能和可靠性的要求,集群配置了2台华为9300交换机,做了交换机堆叠配置,每台服务器连接2条万兆网线,分别连接到两台交换机,在主机上配置网卡聚合(mode=4),实现负载均衡和容错。
由于采用网卡聚合技术,每台服务器只需配置一个IP地址,整个集群处于一个vlan之中。
用途
机器名
IP
GPDBMaster
jxgpmaster01
10.180.212.64
GPDBStandby
jxgpmaster02
10.180.212.65
GPDBSegment
jxgpseg05
10.180.212.70
jxgpseg06
10.180.212.71
jxgpseg07
10.180.212.72
jxgpseg08
10.180.212.73
jxgpseg09
10.180.212.74
jxgpseg10
10.180.212.75
jxgpseg11
10.180.212.76
jxgpseg12
10.180.212.77
jxgpseg13
10.180.212.78
jxgpseg14
10.180.212.79
jxgpseg15
10.180.212.80
jxgpseg16
10.180.212.81
jxgpseg17
10.180.212.82
12软件环境安装配置
12.1操作系统安装配置
12.1.1BIOS设置
进入BIOS功能界面,开启BIOS超线程
✓开启
验证BIOS超线程设置合规性:
A:
grep–i‘cpucores’|/proc/cpuinfo|wc–l
B:
grep–i‘processor’|/proc/cpuinfo|wc–l
检查结果:
处理器数量是核数的2倍。
12.1.2操作系统安装设置
12.1.2.1安装操作系统基础包
操作系统版本:
RedhatEnterpriseLinuxServer6.5(64bit)
要求:
✓选择“最小”软件组方式安装RedHatEnterpriseLinux6.5(64bit)
✓选中“现在自定义”选项,选择安装其他系统工具包。
12.1.2.2安装系统语言包
操作系统安装过程中,请安装以下语言支持。
✓POSIXC 和en_US.utf8locales在安装操作系统时安装。
即ThePOSIXCanden_US.utf8localesmustbeinstalledduringtheOSinstallation.Additionallocalesmaybeinstalledasnecessarytosuitthecustomer.
✓以English(English)作为操作系统安装/登录时采用的语言。
✓除英文环境,在安装附加语言支持时,选择简体中文。
即zh_CN.gbk、zh_CN.gb18030、zh_CN.utf8、zh_CN.BIG5,等中文语言包需要在安装操作系统时一并安装。
12.1.2.3安装系统工具包
组件名称
组件功能
版本要求
验证检查
Kdump
系统信息转储工具
与操作系统相同版本
Servicekdumpstatus
Whichkdump
Ntp
时间同步服务
Servicentpdstatus
Perl
Perl语言工具包
Perl--version
Tcpdump
网络数据采集分析工具
whichTcpdump
Unzip/zlib5
解压工具
whichUnzip
Xfsdump
Xfs文件系统工具
whichXfsdump
Xfsprogs
whichxfssprogs
ed.x86_64
Ed编辑器
whiched
jdk-6u43-linux-x64-rpm
Jdk工具,从Oracle下载安装
jdk–version
ipmi/ipmitool
远程管理诊断工具
ipmitool--V
Gdb
程序运行时调试工具
whichgdb
Pstack
程序运行时调试工具(依赖于gdb)
whichpstack
Nmon
系统性能监测工具
whichnmon
12.1.2.4开发语言连接驱动
开发语言连接数据库需要特定的驱动,目前Greenplum与第三方开发语言连接方式有如下规范:
Greenplum自带C/C++开发语言驱动,不需要安装任何驱动。
Greenplum自带JDBC/ODBC连接驱动,开发语言可通过JDBC或ODBC连接数据库,例如Java开发语言可通过JDBC连接数据库。
对于自带有JDBC/ODBC连接驱动的开发语言,可直接通过自身的JDBC/ODBC连接数据库
Python及Perl开发语言不能通过JDBC/ODBC连接数据库,需通过DBD连接,则要在安装操作系统完成后独立部署安装。
例如LDS及SOR数据库集群开发语言是Perl,则是需要安装如下DBD驱动软件包。
postgresql-libs-8.4.11-1.el6_2.x86_64
perl-DBI-1.609-4.el6.x86_64
perl-DBD-Pg-2.15.1-3.el6.x86_64
12.1.2.5时区配置
配置时区要求如下:
✓选择时区为东八区“亚洲/上海-中国东部”
✓Asia/ShanghaiEastChina–Beijing,Guangdong,Shanghai,etc.
✓系统时钟不使用UTC
12.1.2.6文件系统和分区配置
∙由于RAID磁盘组大于2T,建议采用parted分区,不采用LVM进行管理。
∙Greenplum官方推荐最适合的文件系统是XFS,其他文件系统类型原则上不推荐;
∙挂载点
大小
文件系统类型
说明
/
400G
ext4
安装操作系统和应用软件
/boot
200M
linux启动目录
无
swap
系统交换空间
/data1
2.8T
xfs
hadoop数据目录
/data2
2.6T
12.1.2.7网卡配置
每台服务器采取2网卡绑定的方式提高网络带宽(需要交换机支持),网卡绑定参考如下过程:
1.停止
NetworkManager服务
serviceNetworkManagerstop
chkconfigNetworkManageroff
2.新建/etc/sysconfig/network-scripts/ifcfg-bond0文件
DEVICE=bond0
ONBOOT=yes
BOOTPROTO=static
IPADDR=…
NETMASK=…
GATEWAY=…
USERCTL=no
3.分别修改每块slave网卡的设置文件,假设slave网卡为eth0,则按以下内容更改/etc/sysconfig/network-scripts/ifcfg-