云计算在虚拟机linux安装greenplum.docx
《云计算在虚拟机linux安装greenplum.docx》由会员分享，可在线阅读，更多相关《云计算在虚拟机linux安装greenplum.docx（32页珍藏版）》请在冰豆网上搜索。
云计算在虚拟机linux安装greenplum
虚拟机安装greenplum
目录
1文档说明5
1.1编写目的5
1.2适用范围5
1.3编制依据5
1.4文档结构5
2环境描述6
2.1硬件环境6
2.2软件环境6
2.3虚拟机配置6
3安装虚拟机软件7
4安装LINUX系统8
4.1新建虚拟机8
4.2安装LINUX11
4.3配置系统18
4.4设置网络22
4.5设置服务（FTP和sshd）24
5安装greenplum数据库26
5.1修改参数26
5.2创建目录及用户26
5.3Master节点上安装GreenPlum软件27
5.3.1上传文件，解压27
5.3.2安装GreenPlumn软件27
5.3.3传递安装文件到节点gpnode1和gpnode228
5.4所有子节点主机上安装 greenplumn软件28
5.4.1创建节点配置文件28
5.4.2执行文件greenplum_path.sh,设定环境变量29
5.4.3以root用户交换密钥29
5.4.4以greenplum用户交换密钥29
5.4.5授权对应的目录29
5.4.6节点安装greenplumn软件29
5.4.6.1gpnode1节点29
5.4.6.2Gpnode2节点：
30
5.4.7同步系统时钟（如果配置了ntpd服务）30
5.5初始化GreenPlumn（onMaster）30
5.5.1copy配置文件模板30
5.5.2配置文件gp_init_config30
5.5.3检查下OS配置是否满足需求32
5.5.4初始化greenplumn（Master节点上执行）32
5.5.5修改.bashrc,增加一行,配置Maser节点环境变量33
5.5.6网络配置33
5.6维护GreenPlumn（onMaster）34
5.6.1连接测试34
5.6.2检查状态34
5.6.3停止数据库34
5.6.4启动数据库35
5.7附件37
1文档说明
1.1编写目的
通过Mware安装linux系统，并在系统上安装greenplum，模拟双机集群
1.2适用范围
1.3编制依据
1.4文档结构
2环境描述
2.1硬件环境
一台2G内存的联想SL410K双核笔记本,并安装三台Linux虚拟机。
2.2软件环境
XP环境，局域网IP:
192.168.0.23
2.3虚拟机配置
节点
IP
内存
硬盘
master
192.168.0.2
256M
5G
gpnode1
192.168.0.3
256M
5G
gpnode2
192.168.0.4
256M
5G
3安装虚拟机软件
名称：
VMwareServerV1.0.6Build91891英文特别版
Next……
4安装LINUX系统
4.1新建虚拟机
这里选择典型安装（默认），下一步：
新虚拟机名称：
gpmaster,选择存放的地址Location,下一步：
默认桥连链接，下一步：
分配15G的空间，点击“完成”
4.2安装LINUX
插入光盘
设置虚拟机启动盘
点击“OK”
是否启动光盘检查，这些选择“skip”
输入序列号，点击“OK”
开始安装了………………
4.3配置系统
不启用防火墙
下一步，下一步，到如下界面：
选择NO
选择：
NOthanks，下一步：
下一步：
点击：
finish，完成配置。
4.4设置网络
进入系统后的界面如下：
选择网络配置：
双击
IP是根据一开始的桥连接设置的，设置跟主机同一个IP段就可。
4.5设置服务（FTP和sshd）
选中sshd和vsftpd
由于初步安装ftp会出现
ftp服务器连接失败,错误提示:
500OOPS:
cannotchangedirectory:
/home/*******
500OOPS:
childdied
在终端输入命令：
#setseboolftpd_disable_trans1
#servicevsftpdrestart
5安装greenplum数据库
5.1修改参数
修改master,segments主机参数（所有主机上执行）
root登录
修改/etc/sysctl.conf添加以下
kernel.shmmax=500000000
kernel.shmmni=4096
kernel.shmall=4000000000
kernel.sem=25064000100512
net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_max_syn_backlog=4096
dev_max_backlog=10000
vm.overcommit_memory=2
使参数生效
#sysctl-p
修改/etc/security/limits.conf,添加以下
*softnofile65536
*hardnofile65536
*softnproc131072
*hardnproc131072
修改/etc/hosts,添加以下
192.168.0.10gpmaster
192.168.0.3gpnode1
192.168.0.4gpnode2
5.2创建目录及用户
增加操作系统greenplum用户并创建数据目录（所有节点上执行）
root登录
增加greenplum组和用户gpadmin
[root@gpmastergreenplum-db]#groupaddgreenplum
[root@gpmastergreenplum-db]#useradd-ggreenplumgpadmin
[root@gpmastergreenplum-db]#passwdgpadmin
配置环境变量
在/home/gpadmin/.bashrc加入如下命令
source/usr/local/greenplum-db-4.0.1.0/greenplum_path.sh
保存
运行.bashrc
#..bashrc
创建segment数据目录
mkdir-p/opt/gp_data/data
chown-Rgpadmin:
greenplum/opt/gp_data/data
创建sgement镜像目录
mkdir-p/opt/gp_data/mdata
chown-Rgpadmin:
greenplum/opt/gp_data/mdata
说明：
上面两个步骤也可以等配置好主机之前等效性用gpssh执行。
gpssh可以同时连接所有子节点主机并进行操作。
5.3Master节点上安装GreenPlum软件
在官网下载
5.3.1上传文件，解压
ftp安装文件到一个目录，例如：
/home/gpadmin
解压
unzipgreenplum-db-4.0.1.0-build-1-RHEL5-i386.zip
5.3.2安装GreenPlumn软件
#/bin/bashgreenplum-db-3.3.6.1-build-1-RHEL5-i386.bin
提示“yes”接受协议和安装路径,默认的是“（/usr/local/greenplum-db-4.0.1.0）”
安装结束后会自动创建一个软链接,如
[root@gpmasteropt]#ll/opt
lrwxrwxrwx 1rootroot 2204-0621:
30greenplum-db->./greenplum-db-4.0.1.0
drwxr-xr-x11rootroot409604-0621:
30greenplum-db-4.0.1.0
5.3.3传递安装文件到节点gpnode1和gpnode2
压缩greenplum-db-4.0.1.0
命令：
tar–cvfgp.targreenplum-db-4.0.1.0
分别复制gp.tar到segment1和segment2，
命令：
scpgp.targpnode1:
/usr/local/
命令：
scpgp.targpnode2:
/usr/local/
5.4所有子节点主机上安装 greenplumn软件
5.4.1创建节点配置文件
Master机：
root登录
vi/home/gpadmin/all_host_file添加以下内容
gpmaster
gpnode1
gpnode2
5.4.2执行文件greenplum_path.sh,设定环境变量
Master主机：
[root@gpmastergreenplum]#source /usr/local/greenplum-db/greenplum_path.sh
5.4.3以root用户交换密钥
Master主机：
#gpssh-exkeys-f/home/gpadmin/all_host_file
5.4.4以greenplum用户交换密钥
Master主机：
[root@gpmastergreenplum]#su-gpadmin
[greenplum@gpmaster~]$gpssh-exkeys-f/home/gpadmin/all_host_file
5.4.5授权对应的目录
Master主机：
以root登录
chown-Rgpadmin:
greenplumgreenplum-db;
chown-Rgpadmin:
greenplumgreenplum-db-4.0.1.0;
5.4.6节点安装greenplumn软件
5.4.6.1gpnode1节点
gpnode1节点：
用root登录到
#cd/usr/local/
#tarxvfgp.tar
#ln-s/usr/local/greenplum-db-4.0.1.0/usr/local/greenplum-db
#chown-Rgpadmin:
greenplumgreenplum-db;
#chown-Rgpadmin:
greenplumgreenplum-db-4.0.1.0;
5.4.6.2Gpnode2节点：
用root登录到
#cd/usr/local/
#tarxvfgp.tar
#ln-s/usr/local/greenplum-db-4.0.1.0/usr/local/greenplum-db
#chown-Rgpadmin:
greenplumgreenplum-db;
#chown-Rgpadmin:
greenplumgreenplum-db-4.0.1.0;
5.4.7同步系统时钟（如果配置了ntpd服务）
gpssh-fall_host_file-v-e'ntpd'
5.5初始化GreenPlumn（onMaster）
5.5.1copy配置文件模板
root登录：
cp$GPHOME/docs/cli_help/gp_init_config_example/home/gpadmin/gp_init_config
5.5.2配置文件gp_init_config
ARRAY_NAME="Greenplum"
MACHINE_LIST_FILE=/home/gpadmin/multi_seg_host_file
SEG_PREFIX=gp
PORT_BASE=50000
declare-aDATA_DIRECTORY=（/data/data）
MASTER_HOSTNAME=gpmaster
MASTER_DIRECTORY=/data
MASTER_PORT=5432
下面是例子：
####NameofthisGreenplumsystemenclosedinquotes.
ARRAY_NAME="Greenplum"
MACHINE_LIST_FILE=/home/gpadmin/multi_seg_host_file
####Namingconventionforutility-generateddatadirectories.
SEG_PREFIX=gp
####Basenumberbywhichprimarysegmentportnumbers
####arecalculated.
PORT_BASE=50000
####Filesystemlocation（s）whereprimarysegmentdatadirectories
####willbecreated.Thenumberoflocationsinthelistdictate
####thenumberofprimarysegmentsperphysicalhost.
declare-aDATA_DIRECTORY=（/data/data）
####OS-configuredhostnameorIPaddressofthemasterhost.
MASTER_HOSTNAME=gpmaster
####Filesystemlocationwherethemasterdatadirectory
####willbecreated.
MASTER_DIRECTORY=/data
####Portnumberforthemasterinstance.
MASTER_PORT=5432
#MIRROR_PORT_BASE=60000
#declare-aMIRROR_DATA_DIRECTORY=（/opt/gp_data/mdata）
####Shellutilityusedtoconnecttoremotehosts.
TRUSTED_SHELL=ssh
####MaximumlogfilesegmentsbetweenautomaticWALcheckpoints.
CHECK_POINT_SEGMENTS=8
####Defaultserver-sidecharactersetencoding.
ENCODING=UNICODE
################################################
####OPTIONALPARAMETERS
################################################
####Createadatabaseofthisnameafterinitialization.
DATABASE_NAME=gpadmin
####Absolutepathtothesegmenthostlistfile.
MACHINE_LIST_FILE=/home/gpadmin/gpconfigs/hostfile_gpinitsystem
################################################
####MIRRORPARAMETERS
################################################
####Basenumberbywhichmirrorsegmentportnumbers
####arecalculated.
#MIRROR_PORT_BASE=50000
5.5.3检查下OS配置是否满足需求
[gpadmin@gpmaster~]$gpcheckos-fall_host_file
5.5.4初始化greenplumn（Master节点上执行）
$gpinitsystem-cgp_init_config
包括建立数据库，建库的名称在上面的配置文件：
DATABASE_NAME=gpadmin
5.5.5修改.bashrc,增加一行,配置Maser节点环境变量
Mastergpadmin登录：
exportMASTER_DATA_DIRECTORY=/data/gp-1
5.5.6网络配置
Mstergpadmin登录
$Cd/data/gp-1
$vipg_hba.conf
hostallgpadmin0.0.0.0/0trust
$Gpstop–u
这样pgadmin软件就可以连上服务器了
5.6维护GreenPlumn（onMaster）
5.6.1连接测试
[greenplum@gpmaster~]$psqltemplate1
template1=#\l
Listofdatabases
Name | Owner |Encoding
5.6.2检查状态
$gpstate
5.6.3停止数据库
常用可选参数：
-a：
直接停止，不提示终端用户输入确认
-m：
只停止master实例，与gpstart–m对应使用
-Mfast：
停止数据库，中断所有数据库连接，回滚正在运
行的事务
-u：
不停止数据库，只加载pg_hba.conf和postgresql.conf中运行时参数，当改动参数配置时候使用。
5.6.4启动数据库
数据库启动：
gpstart
常用可选参数：
-a:
直接启动，不提示终端用户输入确认
-m:
只启动master实例，主要在故障处理时使用
20110521:
13:
23:
04:
gpstart:
gpmaster:
gpadmin-[INFO]:
-Startinggpstartwithargs:
20110521:
13:
23:
04:
gpstart:
gpmaster:
gpadmin-[INFO]:
-Gatheringinformationandvalidatingtheenvironment...
20110521:
13:
23:
07:
gpstart:
gpmaster:
gpadmin-[INFO]:
-GreenplumBinaryVersion:
'postgres（GreenplumDatabase）4.0.1.0build1'
20110521:
13:
23:
09:
gpstart:
gpmaster:
gpadmin-[INFO]:
-GreenplumCatalogVersion:
'201005134'
20110521:
13:
23:
11:
gpstart:
gpmaster:
gpadmin-[INFO]:
-StartingMasterinstanceinadminmode
20110521:
13:
23:
21:
gpstart:
gpmaster:
gpadmin-[INFO]:
-ObtainingGreenplumMastercataloginformation
20110521:
13:
23:
21:
gpstart:
gpmaster:
gpadmin-[INFO]:
-ObtainingSegmentdetailsfrommaster...
20110521:
13:
23:
30:
gpstart:
gpmaster:
gpadmin-[INFO]:
-MasterStarted...
20110521:
13:
23:
30:
gpstart:
gpmaster:
gpadmin-[INFO]:
-Shuttingdownmaster
20110521:
13:
23:
51:
gpstart:
gpmaster:
gpadmin-[INFO]:
---------------------------
20110521:
13:
23:
51:
gpstart:
gpmaster:
gpadmin-[INFO]:
-Masterinstanceparameters
20110521:
13:
23:
52:
gpstart:
gpmaster:
gpadmin-[INFO]:
---------------------------
20110521:
13:
23:
52:
gpstart:
gpmaster:
gpadmin-[INFO]:
-Database=template1
20110521:
13:
23:
52:
gpstart:
gpmaster:
gpadmin-[INFO]:
-MasterPort=5432
20110521:
13:
23:
52:
gpstart:
gpmaster:
gpadmin-[INFO]:
-Masterdirectory=/data/gp-1
20110521:
13:
23:
52:
gpstart:
gpmaster:
gpadmin-[INFO]:
-Timeout=60seconds
20110521:
13:
23:
52:
gpstart:
gpmaster:
gpadmin-[INFO]:
-Masterstandby=Off
20110521:
13:
23:
52:
gpstart:
gpmaster:
gpadmin-[INFO]:
---------------------------------------
20110521:
13:
23:
52:
gpstart:
gpmaster:
gpadmin-[INFO]:
-Segmentinstancesthatwillbestarted
20110521:
13:
23:
52:
gpstart:
gpmaster:
gpadmin-[INFO]:
---------------------------------------
20110521:
13:
23:
52:
gpstart:
gpmaster:
gpadmin-[INFO]:
-HostDatadirPort
20110521:
13:
23:
52:
gpstart:
gpmaster:
gpadmin-[INFO]:
-gpnode1/data/gp050000
20110521:
13:
23:
52:
gpstart:
gpmaster:
gpadmin-[INFO]:
-gpnode1/data/gp150001
20110521:
13:
23:
52
升级会员 