SLES 11 SP3 HAE Oracle 11g主备双机部署.docx

SLES 11 SP3 HAE Oracle 11g主备双机部署.docx

《SLES 11 SP3 HAE Oracle 11g主备双机部署.docx》由会员分享，可在线阅读，更多相关《SLES 11 SP3 HAE Oracle 11g主备双机部署.docx（31页珍藏版）》请在冰豆网上搜索。

SLES11SP3HAEOracle11g主备双机部署

LinuxHighAvailability

SUSELinuxEnterpriseServer11SP3

HAE+Oracle11gR2

重庆黑科信息技术有限公司技术服务部

文档控制

修改记录

日期

作者

版本

修改记录

2015-11-04

董永昌

v1.0

文档创建

审阅

姓名

职位

分发

拷贝

姓名

单位

文档约定

备注：

备注是对手头任务的提示、捷径或者备选的解决方法。

忽略提示不会造成负面后果，但您可能会错

过一个更省事的诀窍。

重要：

重要框中的内容是那些容易错过的事情：

配置更改只可用于当前会话，或者在应用更新前要重启的

服务。

忽略‘重要’框中的内容不会造成数据丢失但可能会让您抓狂。

1.文档内容介绍

使用SUSELinuxEnterpriseServer11SP3自带高可用组件HAE部署Oracle11gR2数据库主备双机。

集群环境中采用pacemaker组件用于创建集群资源、管理和维护集群。

集群中的Fence机制不采用主机的IPMI设备作为stonith资源，将采用SBD（splitbraindetection）实现。

备注：

文档中涉及大量SUSELinuxEnterpriseServer11操作系统基础知识，为了不影响文档篇幅及撰写时间，对此文档中不会过多说明，有疑问请查看官方文档。

建议具有一定Linux基础的人群阅读本文档。

2.环境介绍

环境介绍

主机

VMwareESXi虚拟化主机

共享存储

虚拟共享磁盘

操作系统

SUSELinuxEnterpriseServer11SP3x86_64

测试应用

Oracle11gR2

3.集群配置信息

集群配置信息

节点一信息

节点二信息

群集信息

主机名

ora01

ora02

ora

IP地址

192.168.199.241

192.168.199.242

192.168.199.240

HeartBeatName

N/A

N/A

HeartBeatIP

10.10.10.11

10.10.10.12

4.实施步骤

包括基础环境配置、HAE组件安装、Oracle11g数据库安装和集群配置。

a）基础环境配置

网络配置

主机名配置

关闭防火墙

配置互信（非必须）

基础环境都属于基本的Linux操作，在文档中不进行过多说明。

b）HAE组件安装

HAE组件需要在官网单独下载，下载完后可以使用yast2进行安装，但需要创建软件源。

可以将HAE组件拷贝到服务器端进行本地安装，也可以放在远端FTP服务器中，但在安装HAE功能组件时需要用到系统安装光盘Disk1，故需要创建两个软件源。

如下图：

注：

文档中的两个软件源都放在远端FTP服务器中。

详细的安装步骤不在文档中过多描述，如下图：

c）Oracle11g数据库安装

修改/etc/security/limits.conf，添加如下内容：

oraclesoftnproc2047

oraclehardnproc16384

oraclesoftnofile1024

oraclehardnofile65536

oraclesoftstack10240

oraclehardstack32768

修改/etc/sysctl.conf，修改后的文件内容如下：

#Disableresponsetobroadcasts.

#Youdon'twantyourselfbecomingaSmurfamplifier.

net.ipv4.icmp_echo_ignore_broadcasts=1

#enablerouteverificationonallinterfaces

net.ipv4.conf.all.rp_filter=1

#enableipV6forwarding

#net.ipv6.conf.all.forwarding=1

#increasethenumberofpossibleinotify（7）watches

fs.inotify.max_user_watches=65536

#avoiddeletingsecondaryIPsondeletingtheprimaryIP

net.ipv4.conf.default.promote_secondaries=1

net.ipv4.conf.all.promote_secondaries=1

fs.aio-max-nr=1048576

fs.file-max=6815744

kernel.shmall=2097152

kernel.shmmax=4294967295

kernel.shmmni=4096

kernel.sem=25032000100128

net.ipv4.ip_local_port_range=900065500

net.core.rmem_default=262144

net.core.rmem_max=4194304

net.core.wmem_default=262144

net.core.wmem_max=1048576

vm.hugetlb_shm_group=1000

安装所需要的软件包，如下：

binutils\

gcc\

gcc-32bit\

gcc-c++\

glibc\

glibc-32bit\

glibc-devel\

glibc-devel-32bit\

ksh\

libaio\

libaio-32bit\

libaio-devel\

libaio-devel-32bit\

libstdc++*\

libstdc++*-32bit\

libstdc++*-devel\

libstdc++*-devel-32bit\

libstdc++-devel\

libgcc*\

make\

sysstat\

unixODBC\

unixODBC-devel\

unixODBC-32bit\

创建Oracle用户及用户组

groupadd–g1000oinstall

groupadd–g1001dba

groupadd–g1002oper

useradd-m-u1001-goinstall-Gdba,oper-d/home/oracle-s/bin/bashoracle

mkdir-p/u01/app/oracle/11.2.0/db_1

chown-Roracle:

oinstall/u01/

chmod-R0775/u01

使用Oracle账户开始安装数据库软件，步骤省略…

创建数据库，步骤省略…

创建监听，步骤省略…

测试Oracle数据库服务，步骤省略…

d）配置集群

配置集群主要包含三个部分：

创建集群、创建SBD设备和集群配置，配置完成后进行切换测试。

4.4.1创建集群，同步配置文件

使用yast2cluster命令开启集群创建窗口，使用业务地址段和专用心跳段进行集群信息传递，实现冗余，集群ID自定义为“1”，冗余模式为Passive，如下图：

必须生成密钥，确认无误下一步，操作步骤如下图：

添加节点，如左侧菜单；在右侧菜单中的csync2功能是用于实现多节点环境中配置文件的同步，文档中的环境过于简单，并未启用该功能。

备注：

Csync2：

可用于在群集中的所有节点间复制配置文件的同步工具。

Csync2可处理排入同步组的任意数量的主机。

每个同步组都有自己的成员主机列表及其包含/排除模式，包含/排除模式定义了在同步组中应同步哪些文件。

常见需要同步的配置文件包含：

corosync.conf、authkey、drbd.conf和multipath.conf等。

若集群中开启了防火墙功能，需要启用conntrack工具。

因文档中的环境已禁用防火墙，故该工具未启用。

具体的配置方式请参考官方文档。

开机自动启动openais服务。

openais为集群的最重要的核心服务，务必启动。

集群的创建工作结束，但现在还未配置SBD设备，现在还不需要启动opensis服务。

将/etc/corosync/目录下的authkey和corosync.conf配置文件拷贝到另一节点。

在另一节点需要修改corosync.conf文件中nodeid语句，值为2。

每个节点都必须具有唯一的nodeid。

4.4.2创建SBD设备

使用HAE套件的集群环境必须配置STONITH设备，在虚拟化环境下并不具备标准的IPMI设备，故使用SBD设备代替。

配置方法如下：

在任一节点创建SBD设备，需要在两个节点创建配置文件/etc/sysconfig/sbd，文件内容见下图末尾：

重要：

这是官方文档中对STONITH的一句描述。

STONITH即ShootTheOrderNodeInTheHead，当节点主机发生某种未知错误，资源已经切换到其它节点，但错误节点的共享磁盘还在进行I/O，当多台主机对非集群文件系统的磁盘同时进行读写时必然对其中的数据带来隐患。

在面对这种情况时，STONITH机制将强行关闭节点主机，通常使用断电的方式。

标准的IPMI设备包含了UPS、IBMRSA、HPiLO和DELLiDRAC等设备，其功能都能直接对主机进行断电操作。

4.4.3配置集群

使用hb_gui开启集群配置窗口，输入hacluster账户的密码，需要预先设定

查看当前集群状态，只看见两个节点，并未配置任何资源

修改全局群集选项，如下图中红色方框中所示：

DefaultResoureStickiness值表示缺省资源粘性值，即资源对节点的“依赖性”，当前值是每个资源的默认粘性值，可在对应资源中设定专有的粘性值，值越高，资源更愿意运行与该节点。

NoQuorumPolicy值为ignore，仅存在于两个节点的群集环境中，即当一个节点失效，群集仍可以运行在一个节点环境中，而不会禁用群集环境。

创建第一个资源

文档中共使用三种资源类型，分别为原始资源（Primitive）、组资源（Group）和克隆资源（Clone）；原始资源是基础，组资源由原始资源组成，克隆资源可以由原始资源和组资源组成。

创建SBD资源

每个资源都有唯一的ID，名字自定义，便于区分即可。

每个资源都有对应的位置（Class-Provider-Type），不同的资源在不同的类别里。

选择SBD设备的路径，根据实际情况而定。

设定SBD资源的探测间隔为15秒，超时30秒判断为该资源在该节点失效，配置完成后提交

第一个SBD资源创建完成，步骤并不复杂。

创建组资源

给组资源命名为rg_ora

组资源由原始资源组成

创建组资源中的第一个原始资源：

r_ip

r_ip资源创建完后的参数，根据实际情况而定

创建第二个原始资源：

r_fs

r_fs创建完成后的参数

创建第三个原始资源：

r_ora

r_ora资源创建完成后的参数

创建第四个原始资源：

r_lsn

r_lsn资源创建完成后的参数

整个rg_ora组资源创建好后的情况，由4个原始资源组成

由上图我们可以看见4个原始资源从上之下分别是：

r_ip、r_fs、r_ora和r_lsn，这个顺序带表着，在启用rg_ora组资源时首先启用r_ip依次顺序，且当任一组资源中的原始资源启动失败时，整个组资源都无法启动成功，4个原始资源都具有一定的关联性。

同理，在关闭组资源时，首先关闭r_lsn，依次顺序反方向关闭。

4个原始资源始终在同一节点运行，故在文档后面并不会配置“资源约束”：

资源共置（ResourceColocation）和资源顺序（ResourceOrder）。

创建克隆资源

为克隆资源ping_clone

\

克隆资源可以是原始资源和组资源

创建一个r_ping资源

r_ping资源主要用于测试节点主机与上层交换机或路由器的网络连通性，dampen参数表示5秒做一次ping测试，multiplier是一个增效器，以100这个值为基准，两个节点ping数据包有丢失时就会从100减去相应的值，以此来判断节点的业务网卡的通迅情况。

创建资源约束

如图填写参数

至此所有群集资源创建完成。

4.4.4集群启停测试

启动资源

群集资源运行状态-图形化界面

动态显示群集资源运行状态：

crm_mon命令

静态显示群集资源运行状态：

crmstatus命令

4.4.5组资源切换测试

做一次切换测试

也可以使用crmresourcemigrateora_oraora02进行资源切换。

crmresourcestartresource_name##启动某个资源crmresourcestopresource_name##关闭某个资源

组资源rg_ora已经切换到ora节点中