Greenplum安装手册多节点.docx
《Greenplum安装手册多节点.docx》由会员分享，可在线阅读，更多相关《Greenplum安装手册多节点.docx（34页珍藏版）》请在冰豆网上搜索。
Greenplum安装手册多节点
Greenplum数据库安装手册
目录
第一章文档概述5
1.1适用范围5
1.2文档说明5
第二章安装介质6
2.1Redhat6
2.1.1系统补丁6
2.1.2Greenplum安装介质（参考）6
2.1.3操作系统建议7
第三章安装前准备8
3.1网络规划8
3.2存储空间规划8
3.3数据库实例规划9
第四章操作系统准备10
4.1修改主机名10
4.2修改/etc/hosts文件10
4.3关闭相关服务12
4.4修改系统参数（Redhat）12
4.4.1修改系统参数/etc/sysctl.conf12
4.4.2修改系统参数/etc/security/limits.conf13
4.4.3修改磁盘预读参数13
4.4.4修改配置/boot/grub/menu.lst14
4.4.5修改配置/etc/sysconfig/language14
4.5修改系统参数（Solaris）14
4.6启动IPMI服务14
4.7修改启动配置15
4.8关闭非必要的服务15
第五章建立数据目录16
5.1Linux系统采用XFS文件系统16
5.1.1Master和StandbyMaster主机16
5.1.2Segment主机16
5.2Solaris系统采用ZFS文件系统16
第六章Master安装Greenplum18
6.1运行安装文件18
6.2配置hostname文件（用于建立多机信任）18
第七章建立多机信任22
7.1root用户建立多机信任22
7.2建立用户和组22
7.3修改gpadmin用户配置22
7.4gpadmin用户建立多机信任23
第八章时钟同步24
第九章其他机器安装Greenplum26
9.1方法一（4.0版本以上支持，推荐使用）26
9.2方法二（4.0版本一下使用）26
第十章系统检查27
10.1参数配置检查27
10.2性能检查27
10.2.1网络性能检查27
10.2.2磁盘性能检查27
第十一章初始化数据库28
11.1配置文件28
11.1.1Greenplum4.x版本28
11.1.2Greenplum3.x版本29
11.2初始化数据库30
11.3修改访问权限30
第十二章安装PerformanceMonitor31
12.1安装PerformanceMonitor数据收集Agent31
12.2安装PerformanceMonitor控制台31
第十三章附录34
13.1多次初始化34
13.2安装后修改数据库参数（非必要）34
13.3安装后数据测试35
第一章文档概述
一.1适用范围
1、本安装手册描述适用于Greenplum4.0以上版本的安装操作，4.0以下版本安装步骤存在差异。
2、本安装手册所涉及到的操作系统相关参数调整，主要针对RedhatLinux操作系统，其他操作系统（如：
SUSE、Solaris等）参数配置上会存在差异，后续逐步补充完善。
一.2文档说明
1、下文红色字体部分，如无特殊说明则表示命令执行时是需要根据实际情况进行修改才可以执行。
第二章安装介质
二.1Redhat
二.1.1系统补丁
名称
安装文件
备注
中文补丁
fonts-chinese-3.02-12.el5.noarch.rpm
FTP服务器
vsftpd-1.1.3-8.i386.rpm
可选，方便于文件存取
XFS文件系统补丁
kmod-xfs-0.4-2.x86_64.rpm
Greenplum推荐在LINUX上使用XFS文件系统，在SOLARIS上使用ZFS文件系统。
xfsprogs-2.9.4-1.el5.centos.x86_64.rpm
http:
//mirror.centos.org/centos/5/centosplus/x86_64/RPMS/
ETAemc257589补丁
kernel-2.6.18-194.26.1.el5.tar
安装说明：
Sysstat安装包
sysstat-7.0.2-11.el5.x86_64.rpm
可选，安装后可使用iostat、sar等监控命令
nmon监控工具
nmon
选择指定版本，拷贝到/bin目录下即可运行
Rpm类型系统补丁文件采用rpm工具安装，举例：
rpm-ivhfonts-chinese-3.02-12.el5.noarch.rpm
如果需要检查该补丁是否已经安装，同样适用rpm工具检查：
rpm-qafonts-chinese-3.02-12.el5
安装xfs步骤：
XFS是SGI公司开发的文件系统，相比于其他的文件系统有很多的优势，比如扩展性（支持最大的文件和
分区）、性能、快速恢复、日志型的有效结构等等，参照Linux最
早内嵌的文件系统是Ext2，后来是Ext3，以后会有Ext4，由于xfs的各种特点和众多的客户群，很多Linux
发行版也都开始内嵌对Xfs的支持，比如Suse/Knoppix/DebianLinux等，但目前Redhat由于技术支持等原
因并没内嵌xfs，所以我们如果希望使用xfs文件系统的话，就必须手工来添加。
下文就是本人在RHEL5上按
装Xfs的手记。
系统配置为RHEL5,64位版本，Kernel2.6.18-8.el5，步骤如下。
开始主要是一些准备工作，比如安
装RHEL5的内核源代码、rpmbuild工具以及gcc编译工具等等。
1）安装RHEL5的kernel源代码，安装光盘上有相应的develRPM包，找到后执行以下命令
[root@localhostServer]#rpm-ivhkernel-devel-2.6.18-8.el5.x86_64.rpm
[root@localhostServer]#rpm-ivhkernel-xen-devel-2.6.18-8.el5.x86_64.rpm
2）安装rpmbuildRPM工具包，在安装盘上可以找到相应的文件，由于依赖关系，还需要安装另外两个RPM
包。
[root@localhostServer]#rpm-ivhelfutils-libs-0.125-3.el5.x86_64.rpm
[root@localhostServer]#rpm-ivhelfutils-0.125-3.el5.x86_64.rpm
[root@localhostServer]#rpm-ivhrpm-build-4.4.2-37.el5.x86_64.rpm
之后rpmbuild工具就安装成功了，可以使用manrpmbuild来查看一下如何使用。
3）安装gcc编译工具，相应的RPM包也可以在安装盘上找到，由于有依赖关系，还需要安装另外的一些相应
RPM包，相关的命令按照顺序如下。
[root@localhostServer]#rpm-ivhglibc-headers-2.5-12.x86_64.rpm
[root@localhostServer]#rpm-ivhglibc-devel-2.5-12.x86_64.rpm
[root@localhostServer]#rpm-ivhlibgomp-4.1.1-52.el5.x86_64.rpm
[root@localhostServer]#rpm-ivhgcc-4.1.1-52.el5.x86_64.rpm
相关的准备工作做完了，以下就是如何安装xfs了。
4）由于RHEL5不提供对xfs的官方支持，相应的xfs源文件包可以从第三方下载，推荐到
xfs-kmod-0.4-
2.2.6.18_8.el5.src.rpm，而且还可以在另外不同kernel版本的Linux下进行编译，非常方便。
5）编译xfsRPM包，由于我的Linuxkernel版本和此软件包版本一致，所以只需要执行以下命令就Ok.
[root@localhostxfs]#rpmbuild--rebuildxfs-kmod-0.4-2.2.6.18_8.el5.src.rpm
6）成功后，在/usr/src/redhat/RPMS/x86_64目录下就生成了kmod-xfs-0.4-2.2.6.18_8.el5.x86_64.rpm和
kmod-xfs-xen-0.4-2.2.6.18_8.el5.x86_64.rpm包，执行以下命令安装xfskmod包。
[root@localhostx86_64]#rpm-ivhkmod-xfs-0.4-2.2.6.18_8.el5.x86_64.rpm
安装之后，可以通过以下命令确认
[root@localhostx86_64]#rpm-qa|grepxfs
xorg-x11-xfs-1.0.2-3.1
kmod-xfs-0.4-2.2.6.18_8.el5
7）大功基本告成了，xfs的模块文件就已经安装成功了，可以手工的来加载。
#modprobexfs
之后通过lsmod就可以查看xfs模块已经成功加载了。
8）还有最后一步，安装xfs的管理工具包xfsprogs。
由于Redhat不官方支持xfs，可以参照CentOS现有的文
件包，比如到http:
//mirror.centos.org/centos/5/centosplus/x86_64/RPMS/ 下载xfsprogs文件，然后
安装。
[root@localhostxfs]#rpm-ivhxfsprogs-2.9.4-1.el5.centos.x86_64.rpm
9）万事大吉了，xfs的管理工具包括创建、修改、迁移等等，都搞定了。
可以使用manmkfs.xfs看一下命
令。
之后使用fdisk做一个新的分区，比如/dev/sdb1，创建一个新的xfs文件系统，mkfs.xfs/dev/sdb1,
之后mount起来就可以使用了mount/dev/sdb1/mnt.
如果需要每次启动自动mount文件系统的话，添加到/etc/fstab就ok了。
xfs的模块会在监测到系统需要
mount含有xfs分区的时候自动加载，不需要手工干预，非常方便。
当然，如果你是懒人的话，最好配置yum
，让系自动的来安装相应的文件包，而不是使用我这种step-by-step的方式:
-）
二.1.2Greenplum安装介质（参考）
GP安装介质需要从共享盘上下载对应的版本。
名称
安装文件
备注
Greenplum主安装包
greenplum-db-4.1.1.3-build-4-RHEL5-x86_64.bin
安装前请先确定所要安装的具体版本。
GreenplumWebMonitor工具安装包
greenplum-perfmon-web-4.1.1.1-build-1-RHEL5-x86_64.bin
同上
二.1.3操作系统建议
Segment节点建议不安装X-Windows,Gnome,KDE,andPrinters。
第三章安装前准备
三.1网络规划
Greenplum数据库系统常见的拓扑图如上图所示，由Master主机和Segment主机组成。
Master主机和Segment主机之间会组成一个内部网络（LAN）。
为了充分发挥Greenplum数据库并行处理的性能，对网络带宽要求较高。
服务器会配置多个网卡，内部网需要配置多个网段的IP。
需要对外连接的服务器需配置外部IP。
建议在Greenplum数据库系统安装之前，把网络配置规划好。
三.2存储空间规划
首先，需要评估目标数据库数据所需要的空间容量。
建议了解客户搭建Greenplum数据库的具体应用。
举例：
估计数据库所需空间为U，数据库需要启用Mirror，磁盘阵列总可用空间为D（Raid之后）。
空间规划服务和如下公式：
2*U+U/3=D*70%
磁盘空间D平均分配到各个Segment服务器上。
Master需要相应的空间。
使用服务器内置硬盘的计算方式类似。
三.3数据库实例规划
规划每个Segment服务器上建立的数据库实例的数量（instance数量），通常建议每2个CPU内核（core）对应一个数据库实例。
如：
2*4核CPU的服务区，可配置4个实例。
第四章操作系统准备
四.1修改主机名
修改各台主机的主机名称。
一般建议的命名规则如下：
Master：
mdw
StandbyMaster：
smdw
SegmentHost：
sdw1、sdw2……sdwn
修改操作：
1、hostnamemdw
2、修改/etc/sysconfig/network配置文件中的hostname
四.2修改/etc/hosts文件
通常Master和StandbyMaster主机都配置外部IP和内部IP。
Segment主机可只配置内部IP。
所有主机的hosts文件内容必须保持一致。
如下为配置例子：
21.104.138.21mdw-ext1
192.168.1.254mdw-1mdw
192.168.2.254mdw-2
192.168.3.254mdw-3
192.168.4.254mdw-4
192.168.5.254mdw-5
192.168.6.254mdw-6
21.104.138.22smdw-ext1
192.168.1.253smdw-1smdw
192.168.2.253smdw-2
192.168.3.253smdw-3
192.168.4.253smdw-4
192.168.5.253smdw-5
192.168.6.253smdw-6
21.104.138.23sdw1-ext1loghost
192.168.1.1sdw1-1sdw1
192.168.2.1sdw1-2
192.168.3.1sdw1-3
192.168.4.1sdw1-4
192.168.5.1sdw1-5
192.168.6.1sdw1-6
21.104.138.24sdw2-ext1
192.168.1.2sdw2-1sdw2
192.168.2.2sdw2-2
192.168.3.2sdw2-3
192.168.4.2sdw2-4
192.168.5.2sdw2-5
192.168.6.2sdw2-6
21.104.138.25sdw3-ext1
192.168.1.3sdw3-1sdw3
192.168.2.3sdw3-2
192.168.3.3sdw3-3
192.168.4.3sdw3-4
192.168.5.3sdw3-5
192.168.6.3sdw3-6
21.104.138.26sdw4-ext1
192.168.1.4sdw4-1sdw4
192.168.2.4sdw4-2
192.168.3.4sdw4-3
192.168.4.4sdw4-4
192.168.5.4sdw4-5
192.168.6.4sdw4-6
四.3关闭相关服务
【涉及机器】：
所有服务器
关闭防火墙
serviceiptablessave
serviceiptablesstop
chkconfigiptablesoff
serviceip6tablessave
serviceip6tablesstop
chkconfigip6tablesoff
四.4修改系统参数（Redhat）
【涉及机器】：
所有服务器
使用root用户进行修改，重启后生效。
四.4.1修改系统参数/etc/sysctl.conf
（Sysctl是一个允许您改变正在运行中的Linux系统的接口。
它包含一些TCP/IP堆栈和虚拟内存系统的高级选项）
kernel.shmmni=4096
kernel.sem=2505120001002048
kernel.sysrq=1
net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_max_syn_backlog=4096
net.ipv4.conf.all.arp_filter=1
net.ipv4.conf.default.arp_filter=1
dev_max_backlog=10000
vm.overcommit_memory=2
kernel.msgmni=2048
net.ipv4.ip_local_port_range=102565535
四.4.2修改系统参数/etc/security/limits.conf
（ LinuxPAM（插入式认证模块，PluggableAuthenticationModules）中pam_limits.so的配置文件）
*softnofile65536
*hardnofile65536
*softnproc131072
*hardnproc131072
四.4.3修改磁盘预读参数
在参数文件/etc/rc.d/rc.local中增加
DELL：
blockdev--setra16384/dev/sd*（红色部分为硬盘设备标识）
HP：
blockdev--setra16384/dev/cciss/c?
d?
*
四.4.4修改配置/boot/grub/menu.lst
（Deadlinescheduler用deadline算法保证对于既定的IO请求以最小的延迟时间，从这一点理解，对于DSS应用应该会是很适合的）
增加elevator=deadline
四.4.5修改配置/etc/sysconfig/language
增加RC_LANG=en_US.UTF-8
四.5修改系统参数（Solaris）
四.6启动IPMI服务
（IPMI（IntelligentPlatformManagementInterface）即智能平台管理接口是使硬件管理具备“智能化”的新一代通用接口标准。
如果没有安装相关服务，建议安装）
serviceipmistart
chkconfigipmion
四.7修改启动配置
修改/etc/inittab
id:
3:
initdefault:
（修改运行级别为3，多用户命令行模式）
四.8关闭非必要的服务
chkconfigavahi-daemonoff
chkconfigavahi-dnsconfdoff
chkconfigconmanoff
chkconfigbluetoothoff
chkconfigcpuspeedoff
chkconfigsetroubleshootoff
chkconfighiddoff
chkconfighplipoff
chkconfigisdnoff
chkconfigkudzuoff
chkconfigyum-updatesdoff
第五章建立数据目录
五.1Linux系统采用XFS文件系统
五.1.1Master和StandbyMaster主机
1、分区及格式化：
mkfs.xfs/dev/sda3或者mkfs-txfs/dev/sda3
mkdir-p/data/master（Master数据目录）
2、在/etc/fstab文件中增加
/dev/sda3/dataxfsrw,noatime,inode64,allocsize=16m11
五.1.2Segment主机
1、分区及格式化：
mkfs.xfs/dev/sda2或者mkfs-txfs/dev/sda2
mkfs.xfs/dev/sdb2
mkdir/data1（Segment数据目录，可根据实例和分配空间不同规划不同的目录）
mkdir/data2
2、在/etc/fstab文件中增加
/dev/sda2/data1xfsrw,noatime,inode64,allocsize=16m11
/dev/sdb2/data2xfsrw,noatime,inode64,allocsize=16m11
五.2Solaris系统采用ZFS文件系统
zpoolcreate-fdata\
raidzc1t2d0c1t3d0c1t4d0c1t5d0c1t6d0c1t7d0\
raidzc1t9d0c1t10d0c1t11d0c1t12d0c1t13d0c1t14d0\
sparec1t8d0c1t15d0
zfscreatedata/gpdb_master
zfscreatedata/local
zfssetmountpoint=/usr/localdata/local
第六章Master安装Greenplum
六.1运行安装文件
【安装机器】：
Master主机
如果是压缩文件则先解压：
unzipgreenplum-db-4.1.1.3-build-4-RHEL5-x86_64.zip
/bin/bashgreenplum-db-4.1.1.3-build-4-RHEL5-x86_64.bin
安装完成后修改root用户home的~/.bashrc配置文件，增加
source/usr/local/greenplum-db/greenplum_path.sh
六.2配置hostname文件（用于建立多机信任）
建议：
在安装目录下新建gpconfigs目录。
1、包含所有master和segment主机名和别名的文件。
all_hosts:
mdw
mdw-1
mdw-2
mdw-3
mdw-4
mdw-5
mdw-6
smdw
smdw-1
smdw-2
smdw-3
smdw-4
smdw-5
smdw-6
sdw1
sdw1-1
sdw1-2
sdw1-3
sdw1-4
sdw1-5
sdw1-6
sdw2
sdw2-1
sdw2-2
sdw2-3
sdw2-4
sdw2-5
sdw2-6
sdw3
sdw3-1
sdw3-2
sdw3-3
sdw3-4
sdw3-5
sdw3-6
sdw4
sdw4-1
升级会员 