oracleRAC11gR2 ASM测试0918.docx

1、oracleRAC11gR2 ASM测试0918Oracle11gR2 RAC for AIX目录1 主机规划 21.1 硬件环境 21.2 软件环境 31.3 RAC拓朴图 31.4 网络规划 31.4.1 IP地址要求 31.4.2 DNS服务器（可选） 41.5 安装目录规划 51.5.1 grid、ASM安装目录 51.5.2 Clusterware安装目录 51.5.3 Oracle安装目录 51.6 存储规划 51.6.1 grid、ASM安装目录 51.6.2 Clusterware安装目录 51.6.3 database安装目录 51.6.4 OCR、VOTE存储规划 51.6

2、.5 数据库数据文件存储规划 62 安装准备 62.1 系统硬件环境检查 62.1.1 Oracle11gR2 RAC最低安装要求： 62.1.2 验证方法： 62.1.2.1 确认内存大小 62.1.2.2 确认SWAP空间，最少4G。 62.1.2.3 确认/tmp大于1.5GB和/oracle目录空间15GB 72.1.2.4 确认系统结构 72.1.2.5 确认系统CPU个数和主频： 72.2 安装操作系统软件包 72.2.1 安装FILESETS 72.2.2 安装PATCHES 82.3 配置IP地址 92.4 修改/etc/hosts文件 102.5 文件系统准备 102.6 调

3、整系统参数 102.6.1 打开异步IO 102.6.2 调整虚拟内存管理 112.6.3 调整maxuproc（系统最大进程数）和ncargs（系统块大小）参数 112.6.4 调整SHELL限制 122.6.5 确认网络配置参数 122.7 创建用户、组 132.7.1 要求 132.7.2 修改用户属性 142.7.2.1 grid用户 142.7.2.2 oracle用户 142.7.2.3 root用户 152.8 用户环境变量设置 152.8.1 grid用户 152.8.2 oracle用户 162.9 创建安装目录并修改权限 162.10 SSH信任关系设置（可选） 172.1

4、0.1 首先在两台机器上安装好OpenSSH软件； 172.10.2 然后在grid安装中选择自动配置SSH双机信任关系 172.10.2.1 方法1手工配置ssh 172.10.2.2 方法2 Oracle11G 软件自动配SSH 192.11 配置磁盘设备 192.11.1 设置磁盘属性 192.11.2 修改用于数据库存储的PV的属主 202.11.3 修改用于数据库存储的PV的权限 202.11.4 清除PVID 202.12 配置NTP服务（可选） 213 安装Grid 213.1 Grid安装前检查 213.2 执行rootpre.sh 213.3 安装grid 223.4 Clu

5、sterware安装校验 314 安装Database 335 创建ASM磁盘组 396 DBCA创建数据库 417 安装完成后（后续还未开始测试） 477.1 备份root.sh 477.2 重新编译全部PL/SQL modules 487.3 备份spfile文件 487.4 RAC集群系统维护命令 487.5 启动和关闭集群系统命令 497.5.1 启动集群件和集群数据库 497.5.2 关闭RAC集群数据库和集群件 491 主机规划1.1 硬件环境服务器：一台IBM P750 16C(Power7 CPU)128GB，划分为两个lpar，如下:rac1:4C(power7) 16GB内

6、存 2*300G硬盘 2*双口HBA卡 2*4口以太网卡rac2:6C(power7) 64GB内存2*300G硬盘 2*双口HBA卡 2*4口以太网卡；交换机：一台B24光纤交换机，一个TP-link 6口小交换机；存储：一台DS4800存储+磁盘扩展柜；1.2 软件环境数据库：aix.ppc64_11gR2_database_1of2.zipaix.ppc64_11gR2_database_2of2.zip、集群件：aix.ppc64_11gR2_grid.zip这三个包操作系统：AIX6.1原来版本是6100-07-00升级后为：6100-07-08-注意：解压时aix.ppc64_11

7、gR2_database_1of2.zip、aix.ppc64_11gR2_database_2of2.zip这两个包要解到同一个目录下，aix.ppc64_11gR2_grid.zip包解到另一个不同的目录下。 1.3 RAC拓朴图此处省略。1.4 网络规划1.4.1 IP地址要求 每个节点一个public IP 每个节点一个public VIP 每个节点一个private IP 一个用于集群的SCAN名称和一到三个和public IP同网段的IP，本处用一个 public IP,VIP和private IP写入/etc/hosts文件,scan名注册到DNS 配置DNS搜索域和解析顺序Or

8、acle 11gR2 RAC中对网络的要求与10g稍有些不同，在Oracle 11gR2 RAC中引入了SCAN的概念。SCAN全称是Single Client Access Name ，它是Oracle RAC 11gR2版本的一个新特性。它为需要访问Oracle集群数据的客户端提供一个简单名字。它的好处是如果你使用SCAN当你增长或踢除集群中的节点时客户端不需要做任何改变，这一点在三层架构应用系统中（数据库-应用服务器-客户机）优势明显。使用单个名字去访问集群允计客户端使用EZConnect 客户端和简单JDBC thin URL去访问运行在集群中的任何数据库，而不用管在集群中那个或那些服

9、务器（或叫实例）是Active的。配置好固定IP（public），ORACLE的私有IP（priv），和VIP，尤其要注意的是：两台机器需配置对应关系一致的IP与网卡。如：序号名称对应网卡IP用途1rac1En0192.192.3.53public2rac1-vip192.192.3.55VIP3rac1-privEn110.10.10.211private4rac2En0192.192.3.54public5rac2-vip192.192.3.56VIP6rac2-privEn110.10.10.56private7S192.192.3.59192.192.3.60192.192.3.61S

10、can address数据库全局接入8dbscan192.192.3.58注：SCAN IP,有的资料说是13个，而有的资料说是必须要3个，未证实。上规划表中7、8项二选一即可，如果没有DNS服务器，也可以使用/etc/hosts解析scan单IP，本实验中没有配置DNS，所以选择了8的方式，在两个节点的host文件里添加了scanIP。ASM规划ASM规划表磁盘组名PV属主权限单个LUN大小冗余OCRVOTEHdisk3Hdisk4Hdisk7Grid:asmadmin7773G3G3GexternalASMORACLEHdisk5Hdisk6Grid:asmadmin777100G100g

11、若是需要捆绑网卡做心跳，可以使用：#smit etherchannel (本实验为配置，故不详解)1.4.2 DNS服务器（可选）前面说到在Oracle 11gR2 RAC中引入了SCAN的概念，而ORACLE推荐使用DNS解析的方法来实现SCAN，这就要求网络中有一台DNS服务器用来解析SCAN地址。如果你网络中没有专用的DNS服务器，那么也可以用现有的数据库服务器兼作DNS服务器，但是不推荐这样做，因为一旦这台机器当机了，DNS就无法解析，可以导致监听的异步常。在AIX中搭建DNS服务器的方法在后文中将讲到。这里使用/etc/hosts来解析scan1.5 安装目录规划1.5.1 grid

12、、ASM安装目录 在Oracle 11gR2中grid和ASM是安装在同一目录下的，我们的方案中grid和ASM安装在/u01/grid目录下，为JFS2文件系统，大小为35G/u01/grid jfs2 35G1.5.2 Clusterware安装目录我们的方案中Clusterware安装在/u01/db目录下，为JFS2文件系统，大小为30GB。/u01/db jfs2 30G1.5.3 Oracle安装目录我们的方案中Oracle安装在/u01/oracle目录下，为JFS2文件系统，大小为30GB。/u01/db jfs2 30G1.6 存储规划1.6.1 grid、ASM安装目录在O

13、racle 11gR2中grid和ASM是安装在同一目录下的，我们将grid和ASM安装在/u01/grid目录下，为JFS2文件系统，大小建立为30GB以上。本次示例35G1.6.2 Clusterware安装目录我们将Clusterware安装在/u01/db目录下,大小为35G。1.6.3 database安装目录我们将database安装在/u01/oracle下，大小为35G。1.6.4 OCR、VOTE存储规划在我们的方案中规划如下：ASM下巻组名为OCRVOTEHdisk3 容量：3GHdisk4 容量：3GHdisk7 容量：3GASMORACLE(即DATA巻组) hdisk

14、5、6 容量：100G、100G1.6.5 数据库数据文件存储规划规划使用2个100B的阵列盘用来存放数据库数据文件，这2块盘在ASM中做成external磁盘组；使用3个3GB的阵列盘存放OCR、VOTE文件，做成external磁盘组2 安装准备2.1 系统硬件环境检查2.1.1 Oracle11gR2 RAC最低安装要求：内存：安装grid infrastructure最少需要1.5GB的内存，安装grid infrastructure和RAC最少需要2.5GB的内存swap：最少需要4GB,有的资料介绍最少1.5G，不过安装环境检查时显示需要4G。temp：推荐10G，可以将安装文件上

15、传至/tmp目录下，最少1GB安装目录：grid infrastructure+ASM+Clusterware最少需要12GB操作系统：AIX 6.1 TL 01 SP1 (6100-01-01), 64-bit kernel2.1.2 验证方法：2.1.2.1 确认内存大小# lsattr -El sys0 -a realmemrealmem 4194304 Amount of usable physical memory in Kbytes False2.1.2.2 确认SWAP空间，最少4G。# lsps -a若不够4G，需要增加PPS数。本系统一个PPS为128M，所以增加20个，使s

16、wap达到4G。PPS大小可以通过lsvg rootvg查看。# chps -s 20 hd6# lsps -a2.1.2.3 确认/tmp大于1.5GB和/oracle目录空间15GB推荐oracle安装目录在25GB左右，grid infrastructure+ASM安装在/oracle/grid目录下，其中Oracle11g Clusterware安装在/oracle/db目录下.chfs a size=5G /tmp2.1.2.4 确认系统结构# getconf HARDWARE_BITMODE642.1.2.5 确认系统CPU个数和主频：# lsdev -C | grep procp

17、roc0 Available 00-00 Processorproc1 Available 00-01 Processor# lsattr -El proc0frequency 1002000000 Processor Speed Falsesmt_enabled false Processor SMT enabled Falsesmt_threads 1 Processor SMT threads Falsestate enable Processor state Falsetype PowerPC_POWER4 Processor type False2.2 安装操作系统软件包2.2.1

18、安装FILESETSAIX 6.1需要安装如下软件包：bos.adt.basebos.adt.libbos.adt.libmbos.perf.libperfstat 6.1.2.1 or laterbos.perf.perfstatbos.perf.proctoolsrsct.basic.rtepat.clients.rtexlC.aix61.rte 10.1.0.0 (or later)AIX 5.3需要安装如下软件包：bos.adt.basebos.adt.libbos.adt.libmbos.perf.libperfstat 5.3.9.0 or laterbos.perf.perfst

19、atbos.perf.proctoolsrsct.basic.rtepat.clients.rtexlC.aix50.rte 10.1.0.0 (or later)以上filesets安装与否可以用命令lslpp l进行检查确认。默认安装是不全的，需要手工进行添加。同时系统盘的版本与上述也有差异，安装尝试。2.2.2 安装PATCHESAIX版本要求如下AIX 5L V5.3 TL 09 SP1 (5300-09-01), 64 bit kernel或以上版本AIX 6.1 TL 02 SP1 (6100-02-01), 64-bit kernel或以上版本检查方法：# oslevel -r6

20、100-03其它单个补丁的要求如下：AIX 6L installations All AIX 6L 6.1 installations Authorized Problem AnalysisReports (APARs) for AIX 5L v. 5.3 ML06, and the following AIXfixes:IZ41855IZ51456IZ52319AIX 5L installations All AIX 5L 5.3 installations Authorized Problem AnalysisReports (APARs) for AIX 5L v. 5.3 ML06,

21、and the following AIXfixes:IZ42940IZ49516IZ52331验证：#/usr/sbin/instfix -i -k IZ41855安装补丁：由于6100-04不需要任何补丁，所以我们将系统升级到6100-04（但是安装grid的时候还是出现3个包未安装提示）1、 从IBM官网上下载6100-04-00-09432、 将补丁文件上传至/tmp/tools下3、 smit update_all选择不提交，保存被覆盖的文件，可以回滚操作，接受许可协议COMMIT software updates? NoSAVE replaced files? yesACCEPT

22、new license agreements? Yes升级完后查看：# oslevel -s6100-04-01-0944本实验使用系统版本为：6100-07-08-2.3 配置IP地址根据前面的规划先配置要两台机器的物理IP地址，就是rac1、rac1-priv和rac2、rac2-priv这四个IP地址。同样配置几块网卡的IP地址，基中服务地址要配置网关，网关地址为：192.192.3.2542.4 修改/etc/hosts文件修改每个节点上的/etc/hosts文件。127.0.0.1 loopback localhost # loopback (lo0) name/address192

23、.192.3.53 rac1192.192.3.55 rac1-vip10.10.10.211 rac1-priv192.192.3.54 rac2192.192.3.56 rac2-vip10.10.10.222 rac2-priv192.192.3.58 dbscan注意：如果你的环境里不具备DNS服务器，那么SCAN地址解析可以通过/etc/hosts或GNS来实现，这需要在你的所有数据库主机的host文件里添加一个SCAN地址，并且这个地址的解析名不要超过16个字符，超过的话，oracle只会解析前16个字符。本例中我们通过/etc/hosts来解析scan。2.5 文件系统准备创建/

24、u01/grid文件系统创建/u01/db文件系统创建/u01/oracle文件系统（创建步骤省略）2.6 调整系统参数2.6.1 打开异步IOAIX5.3中，在安装grid软件前执行rootpre.sh会自动打开异步IO服务，在AIX6.1中默认异步IO服务是打开的。推荐的aio_maxreqs值为 64k (65536)，检查方法如下：AIX 6.1# ioo -o aio_maxreqsaio_maxreqs = 65536 AIX 5.3# lsattr -El aio0 -a maxreqsmaxreqs 65536 Maximum number of REQUESTS True查看

25、当前启动了多少异步IO进程的方法：# ps -ek|grep -v grep|grep v posix_aioserver|grep -c aioserver调整aio_maxservers和aio_minservers为合适的值原则：1、 调整maxservers的值为10倍的磁盘数量，但是不要超赤802、 在高i/o的时间周期监控AIO的性能情况，如果所有的AIO服务进程都已经启动，那么增大maxservers的值。但是，过多的AIO进程也会增加系统的负载3、 监控AIO服务进程的使用情况：# ps -ek|grep -v grep|grep v posix_aioserver|grep

26、-c aioserver4、 调整参数Ioo po aio_maxservers=80 / ioo po aio_minservers=402.6.2 调整虚拟内存管理Oracle推存使用vmo命令去调优虚拟内存管理，参数推荐如下：命令如下:vmo -p -o minperm%=3vmo -p -o maxperm%=90vmo -p -o maxclient%=90vmo -p -o lru_file_repage=0vmo -p -o strict_maxclient=1vmo -p -o strict_maxperm=0You must restart the system for th

27、ese changes to take effect.2.6.3 调整maxuproc（系统最大进程数）和ncargs（系统块大小）参数# chdev -l sys0 -a maxuproc=16384sys0 changed也可以使用：smitty chgsys修改“Maximum number of PROCESSES allowed per user”修改完成后查看：# lsattr -El sys0 -a maxuprocmaxuproc 16384 Maximum number of PROCESSES allowed per user True# chdev -l sys0 -a

28、ncargs=256sys0 changed2.6.4 调整SHELL限制1. 在 /etc/security/limits文件中增加如下行:default: fsize = -1 core = 2097151 cpu = -1 data = -1 rss = -1 stack = -1 nofiles = -12.6.5 确认网络配置参数用# /usr/sbin/no -a | more来查看网络参数是否满足下面的要求PARAMETER RECOMMENDED VALUEipqmaxlen 512rfc1323 1sb_max 1500000tcp_recvspace 65536tcp_se

29、ndspace 65536udp_recvspace 1351680 这个值应该是udp_sendspace的10倍，但是必须小于sb_maxudp_sendspace135168这个值至少应该是4K（db_block_size*db_multiblock_read_count）的大小修改命令no -r -o ipqmaxlen=521 no -p -o rfc1323=1 no -p -o sb_max=1500000no -p -o tcp_recvspace=65536no -p -o tcp_sendspace=65536no -p -o udp_recvspace=1351680 n

30、o -p -o udp_sendspace=13516在修改前需要先查看系统设置的兼容性：# lsattr -El sys0 -a pre520tune1、输出如：pre520tune disable Pre-520 tuning compatibility mode True说明是不兼容方式，这样就可以用上面的方式调整：2、如果是compatibility模式，则：# /usr/sbin/no -o parameter_name=value并且编辑文件/etc/加入下面内容：if -f /usr/sbin/no ; then/usr/sbin/no -o udp_sendspace=65536/usr/sbin/no -o udp_recvspace=655360/usr/sbin/no -o tcp_sendsp