oracleRAC11gR2 ASM测试0918.docx
《oracleRAC11gR2 ASM测试0918.docx》由会员分享，可在线阅读，更多相关《oracleRAC11gR2 ASM测试0918.docx（52页珍藏版）》请在冰豆网上搜索。
oracleRAC11gR2ASM测试0918
Oracle11gR2RACforAIX
目录
1主机规划2
1.1硬件环境2
1.2软件环境3
1.3RAC拓朴图3
1.4网络规划3
1.4.1IP地址要求3
1.4.2DNS服务器（可选）4
1.5安装目录规划5
1.5.1grid、ASM安装目录5
1.5.2Clusterware安装目录5
1.5.3Oracle安装目录5
1.6存储规划5
1.6.1grid、ASM安装目录5
1.6.2Clusterware安装目录5
1.6.3database安装目录5
1.6.4OCR、VOTE存储规划5
1.6.5数据库数据文件存储规划6
2安装准备6
2.1系统硬件环境检查6
2.1.1Oracle11gR2RAC最低安装要求：
6
2.1.2验证方法：
6
2.1.2.1确认内存大小6
2.1.2.2确认SWAP空间，最少4G。
6
2.1.2.3确认/tmp大于1.5GB和/oracle目录空间15GB7
2.1.2.4确认系统结构7
2.1.2.5确认系统CPU个数和主频：
7
2.2安装操作系统软件包7
2.2.1安装FILESETS7
2.2.2安装PATCHES8
2.3配置IP地址9
2.4修改/etc/hosts文件10
2.5文件系统准备10
2.6调整系统参数10
2.6.1打开异步IO10
2.6.2调整虚拟内存管理11
2.6.3调整maxuproc（系统最大进程数）和ncargs（系统块大小）参数11
2.6.4调整SHELL限制12
2.6.5确认网络配置参数12
2.7创建用户、组13
2.7.1要求13
2.7.2修改用户属性14
2.7.2.1grid用户14
2.7.2.2oracle用户14
2.7.2.3root用户15
2.8用户环境变量设置15
2.8.1grid用户15
2.8.2oracle用户16
2.9创建安装目录并修改权限16
2.10SSH信任关系设置（可选）17
2.10.1首先在两台机器上安装好OpenSSH软件；17
2.10.2然后在grid安装中选择自动配置SSH双机信任关系17
2.10.2.1方法1手工配置ssh17
2.10.2.2方法2Oracle11G软件自动配SSH19
2.11配置磁盘设备19
2.11.1设置磁盘属性19
2.11.2修改用于数据库存储的PV的属主20
2.11.3修改用于数据库存储的PV的权限20
2.11.4清除PVID20
2.12配置NTP服务（可选）21
3安装Grid21
3.1Grid安装前检查21
3.2执行rootpre.sh21
3.3安装grid22
3.4Clusterware安装校验31
4安装Database33
5创建ASM磁盘组39
6DBCA创建数据库41
7安装完成后（后续还未开始测试）47
7.1备份root.sh47
7.2重新编译全部PL/SQLmodules48
7.3备份spfile文件48
7.4RAC集群系统维护命令48
7.5启动和关闭集群系统命令49
7.5.1启动集群件和集群数据库49
7.5.2关闭RAC集群数据库和集群件49
1主机规划
1.1硬件环境
服务器：
一台IBMP75016C（Power7CPU）128GB，划分为两个lpar，如下:
rac1:
4C（power7）16GB内存2*300G硬盘2*双口HBA卡2*4口以太网卡
rac2:
6C（power7）64GB内存2*300G硬盘2*双口HBA卡2*4口以太网卡；
交换机：
一台B24光纤交换机，一个TP-link6口小交换机；
存储：
一台DS4800存储+磁盘扩展柜；
1.2软件环境
数据库：
aix.ppc64_11gR2_database_1of2.zip
aix.ppc64_11gR2_database_2of2.zip、
集群件：
aix.ppc64_11gR2_grid.zip这三个包
操作系统：
AIX6.1
原来版本是6100-07-00
升级后为：
6100-07-08-
注意：
解压时aix.ppc64_11gR2_database_1of2.zip、aix.ppc64_11gR2_database_2of2.zip这两个包要解到同一个目录下，aix.ppc64_11gR2_grid.zip包解到另一个不同的目录下。
1.3RAC拓朴图
此处省略。
1.4网络规划
1.4.1IP地址要求
●每个节点一个publicIP
●每个节点一个publicVIP
●每个节点一个privateIP
●一个用于集群的SCAN名称和一到三个和publicIP同网段的IP，本处用一个
●publicIP,VIP和privateIP写入/etc/hosts文件,scan名注册到DNS
●配置DNS搜索域和解析顺序
Oracle11gR2RAC中对网络的要求与10g稍有些不同，在Oracle11gR2RAC中引入了SCAN的概念。
SCAN全称是SingleClientAccessName，它是OracleRAC11gR2版本的一个新特性。
它为需要访问Oracle集群数据的客户端提供一个简单名字。
它的好处是如果你使用SCAN当你增长或踢除集群中的节点时客户端不需要做任何改变，这一点在三层架构应用系统中（数据库-应用服务器-客户机）优势明显。
使用单个名字去访问集群允计客户端使用EZConnect客户端和简单JDBCthinURL去访问运行在集群中的任何数据库，而不用管在集群中那个或那些服务器（或叫实例）是Active的。
配置好固定IP（public），ORACLE的私有IP（priv），和VIP，尤其要注意的是：
两台机器需配置对应关系一致的IP与网卡。
如：
序号
名称
对应网卡
IP
用途
1
rac1
En0
192.192.3.53
public
2
rac1-vip
192.192.3.55
VIP
3
rac1-priv
En1
10.10.10.211
private
4
rac2
En0
192.192.3.54
public
5
rac2-vip
192.192.3.56
VIP
6
rac2-priv
En1
10.10.10.56
private
7
S
192.192.3.59
192.192.3.60
192.192.3.61
Scanaddress
数据库全局接入
8
dbscan
192.192.3.58
注：
SCANIP,有的资料说是1－3个，而有的资料说是必须要3个，未证实。
上规划表中7、8项二选一即可，如果没有DNS服务器，也可以使用/etc/hosts解析scan单IP，本实验中没有配置DNS，所以选择了8的方式，在两个节点的host文件里添加了scanIP。
ASM规划
ASM规划表
磁盘组名
PV
属主
权限
单个LUN大小
冗余
OCRVOTE
Hdisk3
Hdisk4
Hdisk7
Grid:
asmadmin
777
3G
3G
3G
external
ASMORACLE
Hdisk5
Hdisk6
Grid:
asmadmin
777
100G
100g
若是需要捆绑网卡做心跳，可以使用：
#smitetherchannel（本实验为配置，故不详解）
1.4.2DNS服务器（可选）
前面说到在Oracle11gR2RAC中引入了SCAN的概念，而ORACLE推荐使用DNS解析的方法来实现SCAN，这就要求网络中有一台DNS服务器用来解析SCAN地址。
如果你网络中没有专用的DNS服务器，那么也可以用现有的数据库服务器兼作DNS服务器，但是不推荐这样做，因为一旦这台机器当机了，DNS就无法解析，可以导致监听的异步常。
在AIX中搭建DNS服务器的方法在后文中将讲到。
这里使用/etc/hosts来解析scan
1.5安装目录规划
1.5.1grid、ASM安装目录
在Oracle11gR2中grid和ASM是安装在同一目录下的，我们的方案中grid和ASM安装在/u01/grid目录下，为JFS2文件系统，大小为35G
/u01/gridjfs235G
1.5.2Clusterware安装目录
我们的方案中Clusterware安装在/u01/db目录下，为JFS2文件系统，大小为30GB。
/u01/dbjfs230G
1.5.3Oracle安装目录
我们的方案中Oracle安装在/u01/oracle目录下，为JFS2文件系统，大小为30GB。
/u01/dbjfs230G
1.6存储规划
1.6.1grid、ASM安装目录
在Oracle11gR2中grid和ASM是安装在同一目录下的，我们将grid和ASM安装在/u01/grid目录下，为JFS2文件系统，大小建立为30GB以上。
本次示例35G
1.6.2Clusterware安装目录
我们将Clusterware安装在/u01/db目录下,大小为35G。
1.6.3database安装目录
我们将database安装在/u01/oracle下，大小为35G。
1.6.4OCR、VOTE存储规划
在我们的方案中规划如下：
ASM下巻组名为OCRVOTE
Hdisk3容量：
3G
Hdisk4容量：
3G
Hdisk7容量：
3G
ASMORACLE（即DATA巻组）hdisk5、6容量：
100G、100G
1.6.5数据库数据文件存储规划
规划使用2个100B的阵列盘用来存放数据库数据文件，这2块盘在ASM中做成external磁盘组；
使用3个3GB的阵列盘存放OCR、VOTE文件，做成external磁盘组
2安装准备
2.1系统硬件环境检查
2.1.1Oracle11gR2RAC最低安装要求：
内存：
安装gridinfrastructure最少需要1.5GB的内存，
安装gridinfrastructure和RAC最少需要2.5GB的内存
swap：
最少需要4GB,有的资料介绍最少1.5G，不过安装环境检查时显示需要4G。
temp：
推荐10G，可以将安装文件上传至/tmp目录下，最少1GB
安装目录：
gridinfrastructure+ASM+Clusterware最少需要12GB
操作系统：
AIX6.1TL01SP1（"6100-01-01）,64-bitkernel
2.1.2验证方法：
2.1.2.1确认内存大小
#lsattr-Elsys0-arealmem
realmem4194304AmountofusablephysicalmemoryinKbytesFalse
2.1.2.2确认SWAP空间，最少4G。
#lsps-a
若不够4G，需要增加PPS数。
本系统一个PPS为128M，所以增加20个，使swap达到4G。
PPS大小可以通过lsvgrootvg查看。
#chps-s20hd6
#lsps-a
2.1.2.3确认/tmp大于1.5GB和/oracle目录空间15GB
推荐oracle安装目录在25GB左右，gridinfrastructure+ASM安装在/oracle/grid目录下，其中Oracle11gClusterware安装在/oracle/db目录下.
chfs–asize=5G/tmp
2.1.2.4确认系统结构
#getconfHARDWARE_BITMODE
64
2.1.2.5确认系统CPU个数和主频：
#lsdev-C|grepproc
proc0Available00-00Processor
proc1Available00-01Processor
#lsattr-Elproc0
frequency1002000000ProcessorSpeedFalse
smt_enabledfalseProcessorSMTenabledFalse
smt_threads1ProcessorSMTthreadsFalse
stateenableProcessorstateFalse
typePowerPC_POWER4ProcessortypeFalse
2.2安装操作系统软件包
2.2.1安装FILESETS
AIX6.1需要安装如下软件包：
bos.adt.base
bos.adt.lib
bos.adt.libm
bos.perf.libperfstat6.1.2.1orlater
bos.perf.perfstat
bos.perf.proctools
rsct.basic.rte
pat.clients.rte
xlC.aix61.rte10.1.0.0（orlater）
AIX5.3需要安装如下软件包：
bos.adt.base
bos.adt.lib
bos.adt.libm
bos.perf.libperfstat5.3.9.0orlater
bos.perf.perfstat
bos.perf.proctools
rsct.basic.rte
pat.clients.rte
xlC.aix50.rte10.1.0.0（orlater）
以上filesets安装与否可以用命令lslpp－l进行检查确认。
默认安装是不全的，需要手工进行添加。
同时系统盘的版本与上述也有差异，安装尝试。
2.2.2安装PATCHES
AIX版本要求如下
AIX5LV5.3TL09SP1（"5300-09-01"）,64bitkernel或以上版本
AIX6.1TL02SP1（"6100-02-01）,64-bitkernel或以上版本
检查方法：
#oslevel-r
6100-03
其它单个补丁的要求如下：
AIX6LinstallationsAllAIX6L6.1installationsAuthorizedProblemAnalysis
Reports（APARs）forAIX5Lv.5.3ML06,andthefollowingAIX
fixes:
IZ41855
IZ51456
IZ52319
AIX5LinstallationsAllAIX5L5.3installationsAuthorizedProblemAnalysis
Reports（APARs）forAIX5Lv.5.3ML06,andthefollowingAIX
fixes:
IZ42940
IZ49516
IZ52331
验证：
#/usr/sbin/instfix-i-kIZ41855
安装补丁：
由于6100-04不需要任何补丁，所以我们将系统升级到6100-04（但是安装grid的时候还是出现3个包未安装提示）
1、从IBM官网上下载6100-04-00-0943
2、将补丁文件上传至/tmp/tools下
3、smitupdate_all
选择不提交，保存被覆盖的文件，可以回滚操作，接受许可协议
COMMITsoftwareupdates?
No
SAVEreplacedfiles?
yes
ACCEPTnewlicenseagreements?
Yes
升级完后查看：
#oslevel-s
6100-04-01-0944
本实验使用系统版本为：
6100-07-08-
2.3配置IP地址
根据前面的规划先配置要两台机器的物理IP地址，就是rac1、rac1-priv和rac2、rac2-priv这四个IP地址。
同样配置几块网卡的IP地址，基中服务地址要配置网关，网关地址为：
192.192.3.254
2.4修改/etc/hosts文件
修改每个节点上的/etc/hosts文件。
127.0.0.1loopbacklocalhost#loopback（lo0）name/address
192.192.3.53rac1
192.192.3.55rac1-vip
10.10.10.211rac1-priv
192.192.3.54rac2
192.192.3.56rac2-vip
10.10.10.222rac2-priv
192.192.3.58dbscan
注意：
如果你的环境里不具备DNS服务器，那么SCAN地址解析可以通过/etc/hosts或GNS来实现，这需要在你的所有数据库主机的host文件里添加一个SCAN地址，并且这个地址的解析名不要超过16个字符，超过的话，oracle只会解析前16个字符。
本例中我们通过/etc/hosts来解析scan。
2.5文件系统准备
创建/u01/grid文件系统
创建/u01/db文件系统
创建/u01/oracle文件系统
（创建步骤省略）
2.6调整系统参数
2.6.1打开异步IO
AIX5.3中，在安装grid软件前执行rootpre.sh会自动打开异步IO服务，在AIX6.1中默认异步IO服务是打开的。
推荐的aio_maxreqs值为64k（65536），检查方法如下：
AIX6.1
#ioo-oaio_maxreqs
aio_maxreqs=65536
AIX5.3
#lsattr-Elaio0-amaxreqs
maxreqs65536MaximumnumberofREQUESTSTrue
查看当前启动了多少异步IO进程的方法：
#ps-ek|grep-vgrep|grep–vposix_aioserver|grep-caioserver
调整aio_maxservers和aio_minservers为合适的值
原则：
1、调整maxservers的值为10倍的磁盘数量，但是不要超赤80
2、在高i/o的时间周期监控AIO的性能情况，如果所有的AIO服务进程都已经启动，那么增大maxservers的值。
但是，过多的AIO进程也会增加系统的负载
3、监控AIO服务进程的使用情况：
#ps-ek|grep-vgrep|grep–vposix_aioserver|grep-caioserver
4、调整参数
Ioo–poaio_maxservers=80/ioo–poaio_minservers=40
2.6.2调整虚拟内存管理
Oracle推存使用vmo命令去调优虚拟内存管理，参数推荐如下：
命令如下:
vmo-p-ominperm%=3
vmo-p-omaxperm%=90
vmo-p-omaxclient%=90
vmo-p-olru_file_repage=0
vmo-p-ostrict_maxclient=1
vmo-p-ostrict_maxperm=0
Youmustrestartthesystemforthesechangestotakeeffect.
2.6.3调整maxuproc（系统最大进程数）和ncargs（系统块大小）参数
#chdev-lsys0-amaxuproc=16384
sys0changed
也可以使用：
smittychgsys修改“MaximumnumberofPROCESSESallowedperuser”
修改完成后查看：
#lsattr-Elsys0-amaxuproc
maxuproc16384MaximumnumberofPROCESSESallowedperuserTrue
#chdev-lsys0-ancargs=256
sys0changed
2.6.4调整SHELL限制
1.在/etc/security/limits文件中增加如下行:
default:
fsize=-1
core=2097151
cpu=-1
data=-1
rss=-1
stack=-1
nofiles=-1
2.6.5确认网络配置参数
用#/usr/sbin/no-a|more来查看网络参数是否满足下面的要求
● PARAMETERRECOMMENDEDVALUE
ipqmaxlen512
rfc13231
sb_max1500000
tcp_recvspace65536
tcp_sendspace65536
udp_recvspace1351680这个值应该是udp_sendspace的10倍，但是必须小于sb_max
udp_sendspace135168这个值至少应该是4K＋（db_block_size*db_multiblock_read_count）的大小
● 修改命令
no-r-oipqmaxlen=521
no-p-orfc1323=1
no-p-osb_max=1500000
no-p-otcp_recvspace=65536
no-p-otcp_sendspace=65536
no-p-oudp_recvspace=1351680
no-p-oudp_sendspace=13516
在修改前需要先查看系统设置的兼容性：
#lsattr-Elsys0-apre520tune
1、输出如：
pre520tunedisablePre-520tuningcompatibilitymodeTrue
说明是不兼容方式，这样就可以用上面的方式调整：
2、如果是compatibility模式，则：
#/usr/sbin/no-oparameter_name=value
并且编辑文件/etc/加入下面内容：
if[-f/usr/sbin/no];then
/usr/sbin/no-oudp_sendspace=65536
/usr/sbin/no-oudp_recvspace=655360
/usr/sbin/no-otcp_sendsp
升级会员 