1、 Standby master(Standby master管理节点)主要作为master管理节点的热备份节点,当master管理节点宕机时Standby master则扮演master管理节点角色。 Node/segment host(Segment数据节点)主要负责运行Segment instances(Segment实例)的服务进程,支撑多少个Segment实例取决于Segment数据节点CPU核数。 Primary Segment(主实例)存放数据库一部分独立数据(即每个主实例存放的数据完全不一样),主要负责处理查询等任务,每个Segment数据节点能配置多少个主实例取决于CPU等物理
2、配置情况。当加载数据至数据库时,数据库按既定的分配算法决定实例分别存放哪些数据,当master将执行计划发给各实例,各实例主要处理其负责的那部分数据。 Mirror segment(镜像实例)主要作为Primary Segment(主实例)的热备份节点,当Primary Segment(主实例)不可用时Mirror segment(镜像实例)则扮演master管理节点角色。 Interconnect switches(互连交换机)是Greenplum数据库环境的通信核心,主要负责各节点的通信交互。11.2 硬件环境1. Master/Standby服务器 Master硬件信息设备型号华为RH2
3、288H V2 CPU英特尔志强 8核 E5-2650V2 2.6GHz处理器 2*8core内存192G磁盘23*900GB网卡端口4*1GE+4*10GB口服务器数量22., Segment服务器Slaver硬件信息17(当前环境13台)3. 万兆网络 2台华为交换机9300做了交换机堆叠配置,每台服务器连接2条万兆网线,分别连接到两台交换机,在主机上配置网卡聚合,实现负载均衡和容错。11.3 磁盘硬件RAID设计考虑数据安全性、可靠性、运行性能和容量需求,在硬件方面采用RAID进行进行数据保护。对于磁盘RAID设置要求: RAID卡打开“Write Back”Cache设置和“Read
4、ahead”读策略。 分成2组RAID5:12*900G +11*900G。11.4 网络IP规划为了最大程度满足性能和可靠性的要求,集群配置了2台华为9300交换机,做了交换机堆叠配置,每台服务器连接2条万兆网线,分别连接到两台交换机,在主机上配置网卡聚合(mode=4),实现负载均衡和容错。 由于采用网卡聚合技术,每台服务器只需配置一个IP地址,整个集群处于一个vlan之中。用途机器名IPGPDB Masterjxgpmaster0110.180.212.64GPDB Standbyjxgpmaster0210.180.212.65GPDB Segmentjxgpseg0510.180.2
5、12.70jxgpseg0610.180.212.71jxgpseg0710.180.212.72jxgpseg0810.180.212.73jxgpseg0910.180.212.74jxgpseg1010.180.212.75jxgpseg1110.180.212.76jxgpseg1210.180.212.77jxgpseg1310.180.212.78jxgpseg1410.180.212.79jxgpseg1510.180.212.80jxgpseg1610.180.212.81jxgpseg1710.180.212.8212 软件环境安装配置12.1 操作系统安装配置12.1.1
6、BIOS设置 进入BIOS功能界面,开启BIOS 超线程 开启 验证BIOS超线程设置合规性:A: grep i cpu cores | /proc/cpuinfo |wc lB: grep i processor | /proc/cpuinfo |wc l 检查结果:处理器数量是核数的2倍。12.1.2 操作系统安装设置12.1.2.1 安装操作系统基础包操作系统版本:Redhat Enterprise Linux Server 6.5(64bit) 要求: 选择“最小”软件组方式安装Red Hat Enterprise Linux 6.5 (64bit) 选中“现在自定义”选项,选择安装其
7、他系统工具包。12.1.2.2 安装系统语言包操作系统安装过程中,请安装以下语言支持。 POSIX C和 en_US.utf8 locales 在安装操作系统时安装。即The POSIX C and en_US.utf8 locales must be installed during the OS installation. Additional locales may be installed as necessary to suit the customer. 以 English(English)作为操作系统安装/登录时采用的语言。 除英文环境,在安装附加语言支持时,选择简体中文。即zh
8、_CN.gbk、zh_CN.gb18030、zh_CN.utf8、zh_CN.BIG5,等中文语言包需要在安装操作系统时一并安装。12.1.2.3 安装系统工具包组件名称组件功能版本要求验证检查Kdump系统信息转储工具与操作系统相同版本Service kdump statusWhich kdumpNtp时间同步服务Service ntpd statusPerlPerl语言工具包Perl -versionTcpdump网络数据采集分析工具which TcpdumpUnzip/zlib5 解压工具which UnzipXfsdumpXfs文件系统工具which XfsdumpXfsprogswh
9、ich xfssprogsed.x86_64Ed编辑器which edjdk-6u43-linux-x64-rpmJdk工具,从Oracle下载安装jdk versionipmi/ipmitool远程管理诊断工具ipmitool -VGdb程序运行时调试工具which gdbPstack程序运行时调试工具(依赖于gdb)which pstackNmon系统性能监测工具which nmon12.1.2.4 开发语言连接驱动开发语言连接数据库需要特定的驱动,目前Greenplum与第三方开发语言连接方式有如下规范: Greenplum自带C/C+开发语言驱动,不需要安装任何驱动。 Greenplu
10、m自带JDBC/ODBC连接驱动,开发语言可通过JDBC或ODBC连接数据库,例如 Java开发语言可通过JDBC连接数据库。 对于自带有JDBC/ODBC连接驱动的开发语言,可直接通过自身的JDBC/ODBC连接数据库 Python及Perl开发语言不能通过JDBC/ODBC连接数据库,需通过DBD连接,则要在安装操作系统完成后独立部署安装。例如LDS及SOR数据库集群开发语言是Perl,则是需要安装如下DBD驱动软件包。postgresql-libs-8.4.11-1.el6_2.x86_64perl-DBI-1.609-4.el6.x86_64perl-DBD-Pg-2.15.1-3.e
11、l6.x86_6412.1.2.5 时区配置 配置时区要求如下: 选择时区为东八区“亚洲/上海 - 中国东部” Asia/Shanghai East China Beijing,Guangdong,Shanghai,etc. 系统时钟不使用UTC12.1.2.6 文件系统和分区配置 由于RAID磁盘组大于2T,建议采用parted分区,不采用LVM进行管理。 Greenplum官方推荐最适合的文件系统是XFS,其他文件系统类型原则上不推荐; 挂载点大小文件系统类型说明/400Gext4安装操作系统和应用软件/boot200Mlinux启动目录无swap系统交换空间/data12.8Txfsha
12、doop数据目录/data22.6T12.1.2.7 网卡配置每台服务器采取2网卡绑定的方式提高网络带宽(需要交换机支持),网卡绑定参考如下过程:1.停止NetworkManager服务service NetworkManager stopchkconfig NetworkManager off2.新建/etc/sysconfig/network-scripts/ifcfg-bond0文件DEVICE=bond0ONBOOT=yesBOOTPROTO=staticIPADDR=NETMASK=GATEWAY=USERCTL=no3.分别修改每块slave网卡的设置文件,假设slave网卡为eth0,则按以下内容更改/etc/sysconfig/network-scripts/ifcfg-
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1