云计算在虚拟机linux安装greenplum.docx

1、云计算在虚拟机linux安装greenplum虚拟机安装greenplum目 录1 文档说明 51.1 编写目的 51.2 适用范围 51.3 编制依据 51.4 文档结构 52 环境描述 62.1 硬件环境 62.2 软件环境 62.3 虚拟机配置 63 安装虚拟机软件 74 安装LINUX系统 84.1 新建虚拟机 84.2 安装LINUX 114.3 配置系统 184.4 设置网络 224.5 设置服务（FTP和sshd） 245 安装greenplum数据库 265.1 修改参数 265.2 创建目录及用户 265.3 Master节点上安装 GreenPlum 软件 275.3.1

2、上传文件，解压 275.3.2 安装 GreenPlumn软件 275.3.3 传递安装文件到节点gpnode1和gpnode2 285.4 所有子节点主机上安装 greenplumn 软件 285.4.1 创建节点配置文件 285.4.2 执行文件greenplum_path.sh,设定环境变量 295.4.3 以 root 用户交换密钥 295.4.4 以 greenplum 用户交换密钥 295.4.5 授权对应的目录 295.4.6 节点安装greenplumn 软件 295.4.6.1 gpnode1节点 295.4.6.2 Gpnode2节点： 305.4.7 同步系统时钟(如果配

3、置了 ntpd服务) 305.5 初始化 GreenPlumn (on Master ) 305.5.1 copy 配置文件模板 305.5.2 配置文件 gp_init_config 305.5.3 检查下OS配置是否满足需求 325.5.4 初始化 greenplumn ( Master 节点上执行 ) 325.5.5 修改 .bashrc,增加一行,配置 Maser 节点环境变量 335.5.6 网络配置 335.6 维护 GreenPlumn (on Master ) 345.6.1 连接测试 345.6.2 检查状态 345.6.3 停止数据库 345.6.4 启动数据库 355.7

4、 附件 37 1 文档说明1.1 编写目的通过Mware安装linux系统，并在系统上安装greenplum，模拟双机集群1.2 适用范围1.3 编制依据1.4 文档结构2 环境描述2.1 硬件环境一台 2G内存的联想 SL410K 双核笔记本, 并安装三台Linux虚拟机。2.2 软件环境XP环境，局域网IP:192.168.0.232.3 虚拟机配置节点IP内存硬盘master192.168.0.2256M5Ggpnode1192.168.0.3256M5Ggpnode2192.168.0.4256M5G3 安装虚拟机软件名称：VMware Server V1.0.6 Build91891

5、英文特别版Next4 安装LINUX系统4.1 新建虚拟机这里选择典型安装（默认），下一步：新虚拟机名称：gpmaster,选择存放的地址Location,下一步：默认桥连链接，下一步：分配15G的空间，点击“完成”4.2 安装LINUX插入光盘设置虚拟机启动盘点击“OK”是否启动光盘检查，这些选择“skip”输入序列号，点击“OK”开始安装了4.3 配置系统不启用防火墙下一步，下一步，到如下界面：选择NO选择：NO thanks，下一步：下一步：点击：finish，完成配置。4.4 设置网络进入系统后的界面如下：选择网络配置：双击IP是根据一开始的桥连接设置的，设置跟主机同一个IP段就可。4

6、.5 设置服务（FTP和sshd）选中sshd和vsftpd由于初步安装ftp会出现ftp服务器连接失败,错误提示:500 OOPS: cannot change directory:/home/*500 OOPS: child died在终端输入命令：#setsebool ftpd_disable_trans 1#service vsftpd restart5 安装greenplum数据库5.1 修改参数修改master, segments主机参数 (所有主机上执行)root登录 修改 /etc/sysctl.conf 添加以下kernel.shmmax = 500000000kernel.

7、shmmni = 4096kernel.shmall = 4000000000kernel.sem = 250 64000 100 512net.ipv4.tcp_tw_recycle=1 net.ipv4.tcp_max_syn_backlog=4096 dev_max_backlog=10000vm.overcommit_memory=2使参数生效#sysctl -p 修改 /etc/security/limits.conf ,添加以下* soft nofile 65536 * hard nofile 65536 * soft nproc 131072* hard nproc 131072

8、 修改 /etc/hosts ,添加以下192.168.0.10 gpmaster192.168.0.3 gpnode1192.168.0.4 gpnode25.2 创建目录及用户增加操作系统greenplum用户并创建数据目录（所有节点上执行）root登录增加 greenplum 组和用户gpadminrootgpmaster greenplum-db# groupadd greenplumrootgpmaster greenplum-db# useradd -g greenplum gpadminrootgpmaster greenplum-db# passwd gpadmin配置环境变量

9、在/home/gpadmin/.bashrc加入如下命令source /usr/local/greenplum-db-4.0.1.0/greenplum_path.sh保存运行.bashrc#. .bashrc创建 segment 数据目录mkdir -p /opt/gp_data/datachown -R gpadmin:greenplum /opt/gp_data/data创建 sgement 镜像目录mkdir -p /opt/gp_data/mdatachown -R gpadmin:greenplum /opt/gp_data/mdata 说明：上面两个步骤也可以等配置好主机之前等效

10、性用 gpssh 执行。 gpssh可以同时连接所有子节点主机并进行操作。5.3 Master节点上安装 GreenPlum 软件在官网 下载5.3.1 上传文件，解压ftp 安装文件到一个目录，例如：/home/gpadmin解压unzip greenplum-db-4.0.1.0-build-1-RHEL5-i386.zip5.3.2 安装 GreenPlumn软件# /bin/bash greenplum-db-3.3.6.1-build-1-RHEL5-i386.bin提示“yes” 接受协议 和安装路径, 默认的是“(/usr/local/ greenplum-db-4.0.1.0)

11、”安装结束后会自动创建一个软链接,如 rootgpmaster opt# ll /optlrwxrwxrwx 1 root root 22 04-06 21:30 greenplum-db - ./greenplum-db-4.0.1.0drwxr-xr-x 11 root root 4096 04-06 21:30 greenplum-db-4.0.1.05.3.3 传递安装文件到节点gpnode1和gpnode2压缩greenplum-db-4.0.1.0命令：tar cvf gp.tar greenplum-db-4.0.1.0分别复制gp.tar到segment1和segment2，命

12、令：scp gp.tar gpnode1:/usr/local/命令：scp gp.tar gpnode2:/usr/local/5.4 所有子节点主机上安装 greenplumn 软件5.4.1 创建节点配置文件Master机：root登录vi /home/gpadmin/all_host_file 添加以下内容gpmastergpnode1gpnode25.4.2 执行文件greenplum_path.sh,设定环境变量Master主机：rootgpmaster greenplum#source /usr/local/greenplum-db/greenplum_path.sh5.4.3

13、以 root 用户交换密钥Master主机：# gpssh-exkeys -f /home/gpadmin/all_host_file5.4.4 以 greenplum 用户交换密钥Master主机：rootgpmaster greenplum# su - gpadmingreenplumgpmaster $ gpssh-exkeys -f /home/gpadmin/all_host_file5.4.5 授权对应的目录Master主机：以root登录chown -R gpadmin:greenplum greenplum-db;chown -R gpadmin:greenplum green

14、plum-db-4.0.1.0;5.4.6 节点安装greenplumn 软件5.4.6.1 gpnode1节点gpnode1节点：用root登录到#cd /usr/local/#tar xvf gp.tar#ln -s /usr/local/greenplum-db-4.0.1.0 /usr/local/greenplum-db#chown -R gpadmin:greenplum greenplum-db;#chown -R gpadmin:greenplum greenplum-db-4.0.1.0;5.4.6.2 Gpnode2节点：用root登录到#cd /usr/local/#ta

15、r xvf gp.tar#ln -s /usr/local/greenplum-db-4.0.1.0 /usr/local/greenplum-db#chown -R gpadmin:greenplum greenplum-db;#chown -R gpadmin:greenplum greenplum-db-4.0.1.0;5.4.7 同步系统时钟(如果配置了 ntpd服务)gpssh -f all_host_file -v -e ntpd5.5 初始化 GreenPlumn (on Master )5.5.1 copy 配置文件模板root登录：cp $GPHOME/docs/cli_he

16、lp/gp_init_config_example /home/gpadmin/gp_init_config5.5.2 配置文件 gp_init_configARRAY_NAME=Greenplum MACHINE_LIST_FILE=/home/gpadmin/multi_seg_host_fileSEG_PREFIX=gp PORT_BASE=50000 declare -a DATA_DIRECTORY=(/data /data)MASTER_HOSTNAME=gpmasterMASTER_DIRECTORY=/dataMASTER_PORT=5432 下面是例子：# Name of t

17、his Greenplum system enclosed in quotes.ARRAY_NAME=GreenplumMACHINE_LIST_FILE=/home/gpadmin/multi_seg_host_file# Naming convention for utility-generated data directories.SEG_PREFIX=gp# Base number by which primary segment port numbers# are calculated.PORT_BASE=50000# File system location(s) where pr

18、imary segment data directories# will be created. The number of locations in the list dictate# the number of primary segments per physical host.declare -a DATA_DIRECTORY=(/data /data)# OS-configured hostname or IP address of the master host.MASTER_HOSTNAME=gpmaster# File system location where the mas

19、ter data directory# will be created.MASTER_DIRECTORY=/data# Port number for the master instance.MASTER_PORT=5432#MIRROR_PORT_BASE=60000#declare -a MIRROR_DATA_DIRECTORY=(/opt/gp_data/mdata)# Shell utility used to connect to remote hosts.TRUSTED_SHELL=ssh# Maximum log file segments between automatic

20、WAL checkpoints.CHECK_POINT_SEGMENTS=8# Default server-side character set encoding.ENCODING=UNICODE# OPTIONAL PARAMETERS# Create a database of this name after initialization.DATABASE_NAME=gpadmin# Absolute path to the segment host list file.MACHINE_LIST_FILE=/home/gpadmin/gpconfigs/hostfile_gpinitsy

21、stem# MIRROR PARAMETERS# Base number by which mirror segment port numbers# are calculated.#MIRROR_PORT_BASE=500005.5.3 检查下OS配置是否满足需求gpadmingpmaster $ gpcheckos -f all_host_file5.5.4 初始化 greenplumn ( Master 节点上执行 )$gpinitsystem -c gp_init_config 包括建立数据库，建库的名称在上面的配置文件：DATABASE_NAME=gpadmin5.5.5 修改 .ba

22、shrc,增加一行,配置 Maser 节点环境变量Master gpadmin登录：export MASTER_DATA_DIRECTORY=/data/gp-15.5.6 网络配置Mster gpadmin登录$Cd /data/gp-1$vi pg_hba.confhost all gpadmin 0.0.0.0/0 trust$Gpstop u这样pgadmin软件就可以连上服务器了5.6 维护 GreenPlumn (on Master )5.6.1 连接测试greenplumgpmaster $ psql template1template1=# l List of database

23、s Name | Owner | Encoding 5.6.2 检查状态$gpstate5.6.3 停止数据库常用可选参数：-a：直接停止，不提示终端用户输入确认 -m：只停止master 实例，与gpstart m 对应使用 -M fast：停止数据库，中断所有数据库连接，回滚正在运 行的事务-u：不停止数据库，只加载pg_hba.conf 和postgresql.conf中运行时参数，当改动参数配置时候使用。5.6.4 启动数据库数据库启动：gpstart 常用可选参数： -a : 直接启动，不提示终端用户输入确认 -m:只启动master 实例，主要在故障处理时使用20110521:13

24、:23:04:gpstart:gpmaster:gpadmin-INFO:-Starting gpstart with args: 20110521:13:23:04:gpstart:gpmaster:gpadmin-INFO:-Gathering information and validating the environment.20110521:13:23:07:gpstart:gpmaster:gpadmin-INFO:-Greenplum Binary Version: postgres (Greenplum Database) 4.0.1.0 build 120110521:13:

25、23:09:gpstart:gpmaster:gpadmin-INFO:-Greenplum Catalog Version: 20100513420110521:13:23:11:gpstart:gpmaster:gpadmin-INFO:-Starting Master instance in admin mode20110521:13:23:21:gpstart:gpmaster:gpadmin-INFO:-Obtaining Greenplum Master catalog information20110521:13:23:21:gpstart:gpmaster:gpadmin-IN

26、FO:-Obtaining Segment details from master.20110521:13:23:30:gpstart:gpmaster:gpadmin-INFO:-Master Started.20110521:13:23:30:gpstart:gpmaster:gpadmin-INFO:-Shutting down master20110521:13:23:51:gpstart:gpmaster:gpadmin-INFO:-20110521:13:23:51:gpstart:gpmaster:gpadmin-INFO:-Master instance parameters2

27、0110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:-20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:-Database = template120110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:-Master Port = 543220110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:-Master directory = /data/gp-120110521:13:23:52:gpstart:gpmaster:gpa

28、dmin-INFO:-Timeout = 60 seconds20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:-Master standby = Off 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:-20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:-Segment instances that will be started20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:-20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:- Host Datadir Port20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:- gpnode1 /data/gp0 5000020110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:- gpnode1 /data/gp1 5000120110521:13:23:52