aix61+oracle 11gr2+asm+rac.docx

1、aix61+oracle 11gr2+asm+rac1. 环境描述1.1硬件环境 节点配置 节点节点名实例名数据库名RAM操作系统plat1bgtp1bgtp48GAIX6.1 TL04app1bgtp2bgtp48GAIX6.1 TL04app2bgtp3bgtp48GAIX6.1 TL04 ASM配置ASM磁盘组名PV属主权限单个LUN大小冗余OCR_VOTEhdisk34-37grid:asmadmin660300MExternalDATAhdisk6-33grid:asmadmin660400GExternal1.2软件环境 操作系统：AIX 6100-04 数据库存储:ASM 数据库

2、和集群件版本:ORACLE 11gr2 用户组和文件系统配置用户组和文件系统配置软件组件用户主组辅助组主目录软件目录Grid Infragridoinstallasmadmin asmdba asmoper dba/home/grid/u01/gridRACoracleoinstalldba asmadmin asmdba/home/oracle/u01/app/oracle/product/11.2.0/db1.3 数据库安装规划 DB_NAME bgtp INSTANCE_NAME bgtp1/2/3 MEMORY_TARGET 50%内存 数据库字符集 ZHS16GBK1.4 新特性和新

3、名词解释 Oracle 11gR2将自动存储管理 (ASM) 和 Oracle Clusterware 集成在 Oracle Grid Infrastructure 中。Oracle ASM 和 Oracle Database 11gR2 提供了较以前版本更为增强的存储解决方案，该解决方案能够在 ASM 上存储 Oracle Clusterware 文件，即 Oracle 集群注册表 (OCR) 和表决文件（VF，又称为表决磁盘）。这一特性使 ASM 能够提供一个统一的存储解决方案，无需使用第三方卷管理器或集群文件系统即可存储集群件和数据库的所有数据 SCAN（single client ac

4、cess name）即简单客户端连接名，一个方便客户端连接的接口；在Oracle 11gR2之前，client链接数据库的时候要用vip，假如cluster有4个节点，那么客户端的tnsnames.ora中就对应有四个主机vip的一个连接串，如果cluster增加了一个节点，那么对于每个连接数据库的客户端都需要修改这个tnsnames.ora。SCAN简化了客户端连接，客户端连接的时候只需要知道这个名称，并连接即可， 每个SCAN VIP对应一个scan listener，cluster内部的service在每个scan listener上都有注册，scan listener接受客户端的请求，

5、并转发到不同的Local listener中去，由local 的listener提供服务给客户端 此外，安装GRID的过程也简化了很多，内核参数的设置可保证安装的最低设置，验证安装后执行fixup.sh即可，此外ssh互信设置可以自动完成，尤其不再使用OCFS及其复杂设置，直接使用ASM存储，在HP-UX11.31上无需额外的集群软件（如Service Guard for RAC Extendsion）即可安装2. 安装前的检查和设置2.1检测系统需求 物理内存=2.5G检测: /usr/sbin/lsattr -E -l sys0 -a realmem swap空间等于0.75-1倍的物理内

6、存检测: lsps -a更改: smit chps 或chps -s120 hd6 检测存储或LUN的大小检测: lsattr -El rhdisk# -a size_mb 本地文件系统(用于oracle软件)大于等于30G 临时空间大于5G检测: df g /tmp更改: chfs -a size=20G /tmp2.2 网络需求 每个节点一个public IP 每个节点一个public VIP 每个节点一个private IP 一个用于集群的SCAN名称和一到三个和public IP同网段的IP public IP,VIP和private IP写入/etc/hosts文件,scan名注册到

7、DNSPublicviprac interconnect(private)SCANEn4En4En6scan-nameipnode nameIpnode nameipnode nameipplat110.1.88.101plat1-vip10.1.88.105plat1-pri192.168.100.1bgtp-scan10.1.88.110app110.1.88.103app1-vip10.1.88.107app1-pri192.168.100.3app210.1.88.104app2-vip10.1.88.108app2-pri 192.168.100.4 配置DNS搜索域和解析顺序(DN

8、S默认域为) vi /etc/resolv.conf加入以下内容:search nameserver 10.1.88.88 更改解析搜索顺序,vi /etc/nsswitch.conf加入以下内容(不更改会导致节点访问非常慢):hosts: files dns nis vi /etc/netsvc.conf加入以下内容: hosts=local,bind,nis2.3 软件需求 操作系统需求 AIX 5L V5.3 TL 09 SP1 (5300-09-01), 64 bit kernel AIX 6.1 TL 02 SP5 (6100-02-05), 64-bit kernel检测:osle

9、vel s 需要的操作系统包 bos.adt.base bos.adt.lib bos.adt.libm bos.perf.libperfstat 5.3.9.0 or later (AIX 5.3) bos.perf.libperfstat 6.1.2.1 or later (AIX 6.1) bos.perf.perfstat bos.perf.proctools rsct.basic.rte pat.clients.rte xlC.aix50.rte:10.1.0.0 or later (AIX 5.3) xlC.aix61.rte:10.1.0.0 or later (AIX 6.1)

10、 检测: lslpp -l bos.adt.base bos.adt.lib bos.adt.libm bos.perf.libperfstat bos.perf.perfstat bos.perf.proctools rsct.basic.rte pat.clients.rte xlC.aix61.rte 安装SSH软件(必须,否则安装无法通过) 操作系统光盘附带openssh 安装BASH(必须,否则安装无法通过) 下载bash软件ftp:/ 安装bash软件 rpm -ivh bash-3.2-1.aix5.2.ppc.rpm 修改/etc/security/login.cfg，在she

11、lls属性添加bash命令 shells = /bin/bash,/bin/sh,/bin/bsh. 补丁集需求(6100-04 不需要在打任何补丁) if AIX6.1IZ41855 IZ51456 IZ52319检测: instfix -i -k IZ41855 IZ51456 IZ52319 if AIX5.3IZ42940 IZ49516 IZ52331检测: instfix -i -k IZ42940 IZ49516 IZ52331 2.4 调试操作系统参数 异步IO 确保aio_maxreqs的值为65536检测: ioo o aio_maxreqs (AIX6.1)lsattr

12、-El aio0 -a maxreqs (AIX5.3) 调整aio_maxservers和aio_minservers为合适的值原则:1)调整maxservers的值为10倍的磁盘数量,但是不要超过802)在高I/O的时间周期监控AIO的性能情况,如果所有的AIO服务进程都已经启动,那么增大maxservers的值.但是,过多的AIO进程也会增加系统的负载.3)监控AIO服务进程的使用情况:ps -ek|grep -v grep|grep v posix_aioserver|grep -c aioserver4)调整参数ioo po aio_maxservers=80 / ioo po ai

13、o_minservers=40 调整虚拟内存管理(VMM) 调整:vmo -p -o minperm%=3vmo -p -o maxperm%=90vmo -p -o maxclient%=90vmo -p -o lru_file_repage=0vmo -p -o strict_maxclient=1vmo -p -o strict_maxperm=0 调整maxuproc和ncargs参数 chdev -l sys0 -a maxuproc=16384 chdev -l sys0 -a ncargs=256 (默认)2.5 配置网络调试参数 PARAMETER RECOMMENDED VA

14、LUEipqmaxlen 512rfc1323 1sb_max 1500000tcp_recvspace 65536tcp_sendspace 65536udp_recvspace 1351680 这个值应该是udp_sendspace的10倍，但是必须小于sb_maxudp_sendspace 135168 这个值至少应该是4K（db_block_size*db_multiblock_read_count）的大小 修改命令no -r -o ipqmaxlen=521 no -p -o rfc1323=1 no -p -o sb_max=1500000no -p -o tcp_recvspac

15、e=65536no -p -o tcp_sendspace=65536no -p -o udp_recvspace=1351680 no -p -o udp_sendspace=135162.6 创建用户,组和文件系统 要求 创建GRID和ORACLE用户 创建OINSTALL组,DBA组,ASMADMIN组,ASMDBA组和ASMOPER组 所有节点的GRID和ORACLE用户名和组名要相同 所有节点的GRID和ORACLE用户ID和组ID必须相同 创建/u01/grid目录用于Grid Infrastructure软件 创建/u01/app/oracle用于Database软件 创建命令

16、mkgroup -A id=506 oinstall mkgroup -A id=505 dba mkgroup -A id=507 asmadmin mkgroup -A id=508 asmdba mkgroup -A id=509 asmoper mkuser -a id=503 pgrp=oinstall groups=dba,asmadmin,asmdba,asmoper shell=/bin/bash home=/home/grid fsize=-1 cpu=-1 data=-1 core=-1 rss=-1 stack=-1 stack_hard=-1 capabilities=

17、CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE grid passwd grid mkuser -a id=502 pgrp=oinstall groups=dba,asmdba,asmadmin shell=/bin/bash home=/home/oracle fsize=-1 cpu=-1 data=-1 rss=-1 stack=-1 stack_hard=-1 capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE oracle passwd oracle mkdir

18、 -p /u01/grid mkdir -p /u01/app/oracle chown -R grid:oinstall /u01 chmod -R 775 /u01/ chown oracle:oinstall /u01/app/oracle2.7 用户shell限制 更改root,grid,oracle用户的shell限制,要求如下fsize = -1core = -1cpu = -1data = -1rss = -1stack = -1nofiles = -1 更改命令:smit chuser2.8 信任关系设置 root ssh-keygen t rsa ssh-keygen t d

19、sa touch /.ssh/authorized_keys ssh plat1 cat /.ssh/id_rsa.pub /.ssh/authorized_keys ssh plat1 cat /.ssh/id_dsa.pub /.ssh/authorized_keys ssh app1 cat /.ssh/id_rsa.pub /.ssh/authorized_keys ssh app1 cat /.ssh/id_dsa.pub /.ssh/authorized_keys ssh app2 cat /.ssh/id_rsa.pub /.ssh/authorized_keys ssh app

20、2 cat /.ssh/id_dsa.pub /.ssh/authorized_keys scp /.ssh/authorized_keys app1:/.ssh scp /.ssh/authorized_keys app2:/.ssh grid ssh-keygen t rsa ssh-keygen t dsa touch /home/grid/.ssh/authorized_keys ssh plat1 cat /home/grid/.ssh/id_rsa.pub /home/grid/.ssh/authorized_keys ssh plat1 cat /home/grid/.ssh/i

21、d_dsa.pub /home/grid/.ssh/authorized_keys ssh app1 cat /home/grid/.ssh/id_rsa.pub /home/grid/.ssh/authorized_keys ssh app1 cat /home/grid/.ssh/id_dsa.pub /home/grid/.ssh/authorized_keys ssh app2 cat /home/grid/.ssh/id_rsa.pub /home/grid/.ssh/authorized_keys ssh app2 cat /home/grid/.ssh/id_dsa.pub /h

22、ome/grid/.ssh/authorized_keys scp /home/grid/.ssh/authorized_keys app1:/home/grid/.ssh scp /home/grid/.ssh/authorized_keys app2:/home/grid/.ssh oracle ssh-keygen t rsa ssh-keygen t dsa touch /home/oracle/.ssh/authorized_keys ssh plat1 cat /home/oracle/.ssh/id_rsa.pub /home/oracle/.ssh/authorized_key

23、s ssh plat1 cat /home/oracle/.ssh/id_dsa.pub /home/oracle/.ssh/authorized_keys ssh app1 cat /home/oracle/.ssh/id_rsa.pub /home/oracle/.ssh/authorized_keys ssh app1 cat /home/oracle/.ssh/id_dsa.pub /home/oracle/.ssh/authorized_keys ssh app2 cat /home/oracle/.ssh/id_rsa.pub /home/oracle/.ssh/authorize

24、d_keys ssh app2 cat /home/oracle/.ssh/id_dsa.pub /home/oracle/.ssh/authorized_keys scp /home/oracle/.ssh/authorized_keys app1:/home/oracle/.ssh scp /home/oracle/.ssh/authorized_keys app2:/home/oracle/.ssh 验证 配置完毕后,互相访问验证,首次需要密码2.9 存储配置 检测所有节点用于数据库存储的磁盘设备名是否相同 给想要使用的PV赋予PVIDchdev -l hdisk6-37 -a pv=y

25、es 在其他节点检测具有相同PVID的磁盘是否磁盘设备名也相同 如果所有节点相同,那么开始授权,如果不同,那么通过mknod命令创建别名设备或者删除设备重新刷新 改变用于数据库存储的PV的属主 chown grid:asmadmin /dev/rhdisk6-37 改变用于数据库存储的PV的权限 chmod 660 /dev/rhdisk6-37 检测和设置保持策略 检测: lsattr -E -l hdisk6-37 | grep reserve_ 设置保持策略:chdev -l hdisk6-37 -a reserve_policy=no_reserve (如果是reserve_polic

26、y)chdev -l hdisk6-37 -a reserve_lock=no (如果是reserve_lock) 清除PVID /usr/sbin/chdev -l hdisk6-37 -a pv=clearIns-20702unexpected internal driver error2.10 时间同步 说明ORACLE Clusterware 11gr2需要所有节点的时间同步,方法除了以前的NTP服务以外,还可以选择Oracle Cluster Time Synchronization Service.如果我们当前使用了NTP服务,那么CTSSD将启动为观察模式.如果不使用NTP,那么

27、CTSSD将在集群成员中同步时间 配置CTSSD环境 如果安装ntp服务,但是不能或不想通过它来进行时间同步,那么首先需要我们禁用它,这样在安装的时候,ORACLE会安装CTSSD资源来代替它stopsrv s xntpd 如果CTSSD已经出于观察模式,那么关闭NTP后通过grid用户激活它crsctl stat resource ora.ctssd t init 另外,也可以配置NTP服务进行时间同步(略)2.11 境变量设置 grid用户(/home/grid/.profile)umask 022if -t 0 ; thenstty intr Cfiexport ORACLE_SID=+

28、ASM1 (节点2为+ASM2.)export ORACLE_BASE=/u01/app/oracleexport GRID_HOM=/u01/gridexport PATH=$GRID_HOME/bin:$PATH oracle用户(/home/oracle/.profile)umask 022if -t 0 ; thenstty intr Cfiexport ORACLE_SID=bgtp1 (节点2为bgtp2.)export ORACLE_BASE=/u01/app/oracleexport GRID_HOME=/u01/gridexport ORACLE_HOME=$ORACLE_B

29、ASE/product/11.2.0/dbexport PATH=$ORACLE_HOME/bin:$GRID_HOME/bin:$PATHexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/rdbms/lib:/lib:/usr/libexport CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlibexport NLS_LANG=american_america.ZHS16GBKexport ORACLE_OWNER=oracle3. 安装Grid Infrastructure3.1所有节点执行rootpre.sh 以root身份在所有节点执行slibclean 以root用户身份在所有节点执行Grid Infrastructure软件下的rootpre.sh脚本