OracleRAC安装配置指导书.docx

1、OracleRAC安装配置指导书产品名称 Product name密级Confidentiality level数据库TMG内部公开产品版本Product versionTotal 5pages 共5页1.1Oracle RAC安装配置指导书Prepared by 拟制Date日期Reviewed by 评审人Date日期Approved by批准Date日期Authorized by签发Date日期 Huawei Technologies Co., Ltd. 华为技术有限公司All rights reserved版权所有 XX修订记录日期修订版本描述作者2008-06-301.00初稿完成李

2、强2008-07-302.001.增加ASM安装方法2.更改网卡配置方法3.更改裸设备配置方法4.所有目前已知问题汇总李强Oracle RAC安装配置指导书 1一.概述 6二.系统运行环境 72.1 系统硬件环境: 72.2 组网方式： 82.3 系统软件环境 8三. 安装前的准备 93.1. 准备安装源 93.2 检查硬件环境 93.3 检查软件环境 113.3.1. 检查操作系统版本 113.3.2. 检查内核版本 113.3.3. 检查软件包 113.3.4 删除多余的软件包 123.4 配置网络 133.4.1规划网络： 133.4.2 通过绑定总线的方式配置网卡： 143.4.3 配

3、置/etc/hosts文件： 173.5 配置用户访问 183.5.1创建相关用户和用户组 183.5.2创建ORACLE软件目录 193.5.3 配置Oracle用户环境 193.5.4 配置Oracle用户的SSH互信访问 213.6 配置操作系统系统环境 253.6.1 修改内核参数 253.6.2 加大SHELL对ORACLE用户的最大进程数和打开文件数的限制： 253.6.3 配置图形化界面: 263.6.4 配置各节点时钟同步: 273.7 配置存储 283.7.1 存储规划： 283.7.2 创建分区： 293.7.3 绑定裸设备 31四、安装ORACLE clusterware

4、 34五、安装Oracle 数据库软件 50六、安装Oracle ASM实例 59七、安装Oracle 样本数据库 68参考文献 851 概述 根据华为公司IRB决议，PSST各产品线使用的数据库外购件要大规模切换至ORACLE，并以11G为主。为保障各部门ORACLE移植工作的顺利实施，华为公司数据库能力中心特制定一系列规范手册以指导各产品线的数据库应用。本文即为其中之一。此文档用于指导在ATAE平台上安装ORACLE数据库集群，操作系统版本基于Suse linux。其上安装两节点Oracle Database 11G RAC。安装可以分成5个主要步骤：配置环境，安装Oracle CRS，安

5、装Oracle Database，创建数据库和安装后操作。2 系统运行环境2.1 系统硬件环境:ATAE R2单板2块存储磁阵一台，本文以OCEAN STORE S3000存储磁阵为例。2.2 组网方式： 图1 RAC组网图注意：此为推荐使用的部署方式；单板必须配置环回扣板（编号03030ESW）才能访问磁阵。2.3 系统软件环境操作系统：Suse Linux 10 sp1 64位： SLE-10-x86_64-SP1数据库版本：Oracle Database Enterprise Edition 11.1.0.6 for Linux x86_64 集群软件版本：Oracle Clusterw

6、are 11.1.0.6 for Linux注意：1. ORACLE 11G只能安装在SLES 10以上的版本中。2. ORACLE集群软件的版本不能低于ORACLE数据库的版本，不推荐使用其它第三方集群软件，如VCS做ORACLE数据库的集群。11G的集群软件不能管理9i的数据库3. 推荐安装64位数据库，这样可以使用大内存（SGA），显著提高性能4. 11g后可考虑使用ORACLE ASM代替LINUX LVM管理存储，它是一个单独的数据库实例，一个操作系统只能有一个。5. ORACLE 11G支持从9.2升级。3 安装前的准备在安装前，请确认操作系统SUSE10 SP01已安装好并已有O

7、racle DB 11.1.0.6 for Linux和Oracle Clusterware 11.1.0.6介质，将介质复制到其中一台机器，这里假定为Rac1并解压缩。3.1 准备安装源研发用ORACLE安装介质和官方文档放在：szxfs03-pubPQM_PPQM_ITCEG_F0521数据库uploadoracle请各位下载时务必注意数据库版本、补丁号、32位/64位，必要时找wucaihua 00131729/huawei,确认3.2 检查硬件环境 执行命令用户Root节点所有检查内存：内存=1G，# grep MemTotal /proc/meminfo检查swap：交换空间swap

8、为4G(内存为12G时，swap为起1.5倍，如果大于2G，swap等于内存大小# grep SwapTotal /proc/meminfo检查/tmp：/tmp 500M 最好不少于1G# df -k /tmp检查系统空间：系统磁盘空间还有不少于6G空间，# df h注意：硬盘剩余空间检查时，如果根目录空间不够，可以单独建立一个ORACLE目录，并挂载磁盘。例如：# vi /etc/fstab/dev/sdb1 /oracle ext3 acl,user_xattr 1 2重启单板检查共享内存：使用ASM的话还要检查共享内存,R2单板建议不小于8G# df -k /dev/shm/注意：AT

9、AE R2单板的共享内存可以配到8G左右，这仅是临时文件系统具体操作方法如下，以root用户登录：# vi /etc/fstabshmfs /dev/shm tmpfs size=8g 0 0增加上面这行后重启单板3.3 3.3 检查软件环境 执行命令用户root节点所有3.3.1 3.3.1. 检查操作系统版本# SPidentORACLE 11G能安装的操作系统与数据库版本对应关系如下：ORACLE数据库版本能安装的操作系统版本11g r1 64位SLES-10 64位；AIX 5.3；SOLARIS SPARC 9/10；HP-UX PA-RISC 11iV3/V2；HP-UX Itan

10、ium 11iV3/V2 11g r1 32位SLES-10 32位注意：i. 由于9I已经停产，并即将停止服务，不建议产品线继续使用Oracle 9iii. 由于外购件厂商不停更新验证版本，因此操作系统与数据库之间的配套关系错综复杂且实时更新，项目组在上线前如有需求可向配置TMG congpeiyi 49478/huawei,确认3.3.2 3.3.2. 检查内核版本# uname -r对于Suse linux要求内核至少为2.6.16.213.3.3 3.3.3. 检查软件包# rpm -q package_name对于Suse linux要求至少具备以下安装包，版本不低于以下各包：bin

11、utils-2.16.91.0.5compat-libstdc+-5.0.7-22.2gcc-4.1.0gcc-c+-4.1.0glibc-2.4-31.2glibc-32bit-2.4-31.2 (32 bit)glibc-devel-2.4glibc-devel-32bit-2.4 (32 bit)libaio-0.3.104libaio-32bit-0.3.104 (32 bit)libaio-devel-0.3.104libelf-0.8.5libgcc-4.1.0libstdc+-4.1.0libstdc+-devel-4.1.0make-3.80sysstat-6.0.2unixO

12、DBC-2.2.11unixODBC-devel-2.2.113.3.4 3.3.4 删除多余的软件包对于SLES10, 默认单板安装后会带上一些应用软件RPM包，如果不把它们删除，将严重干扰后续ORACLE的安装和配置，包括RAC和单机都会受到影响，在当前ATAE未解决此问题的情况下，我们只能手工删除：# rpm -qa ora*orarun-1.9-21.15# rpm -qa sap*sapinit-2.0.1-1.10# rpm -e orarun-1.9-21.15# rpm -e sapinit-2.0.1-1.10# rm i /etc/oraInst.loc3.4 3.4 配置

13、网络执行命令用户Root节点所有3.4.1 3.4.1规划网络：主机名IP地址对应网卡备注 node-1110.71.164.38bond0公网：ATAE fabric平面node-11_priv192.168.100.38 bond1私网：ATAE basic平面node-11_vip10.71.164.8虚拟IP：无需手工配置 node-1210.71.164.39bond0公网：ATAE fabric平面 node-12_priv192.168.100.39 bond1私网：ATAE basic平面 node-12_vip10.71.164.9虚拟IP：无需手工配置注意：I. 在网络配置

14、过程中，各节点的网卡名和网络平面要一致，由于ATAE在SLES10上存在网卡漂移现象，建议使用绑定总线的方式配置虚拟网卡.II. 为了启用enable VIP failover虚拟IP必须与公网IP处于同一网段, 如：10.71.114.*，因此安装ORACLE RAC所需的IP数目=节点数*2，由于RAC对IP个数要求较多，因此若要使用RAC,各项目可能需要重新规划组网方式。III. 不推荐使用DHCP,尤其是对外提供服务的公网IP，应使用静态IPIV. ATAE环境下，公网（public ip）对应fabric平面，必须配置网关，连接到机房网络。私网（private ip）对应basic平

15、面，承载ORACLE RAC心跳, 不应连接机框外网络。浮动（virtual）IP无须手工配置网卡，只需写入/etc/hosts文件，安装RAC时会自动设置, 它必须与公网public ip处于同一网段。V. 私网必须为高速网络Gigabit Ethernet或更高，支持UDP, 不要与其它网络服务器或公网连接，避免网络风暴等不定的外界影响。3.4.2 3.4.2 通过绑定总线的方式配置网卡：由于目前ATAE SLES10下存在严重的网卡偏移BUG, 表现为单板复位后，原来对应某一网络平面的网卡漂离到其它平面上；或者同一块网卡（MAC地址不变）重启前后名字可能不一样等故障，因此数据库TMG建议

16、在此BUG未修复前，采用绑定总线的方式规避此问题。具体做法是：3.4.1.1 查询总线地址# /var/adm/autoinstall/scripts/eth_alias.sheth1 6,0,0 Fabric1eth2 3,0,0 Updateeth3 13,4,0 Base1eth4 13,4,1 Base2eth0 6,0,1 Fabric2填写下表：网卡平面Fabric1Fabric2Base1Base1总线地址6,0,06,0,113,4,013,4,1注意：不同产品线的ATAE单板上网卡识别脚本eth_alias.sh的路径可能不一样，请咨询相关负责人3.4.1.2 编辑绑定文件#

17、 cd /etc/sysconfig/network/把所有名为ifcfg-eth-id-MAC地址（如ifcfg-eth-id-00:18:82:35:f6:28）或ifcfg-网卡名（如ifcfg-eth1）的文件全部移走或重命名# vi ifcfg-bond0在ifcfg-bond0配置文件中添加如下内容：BOOTPROTO=staticSTARTMODE=onbootWIRELESS=nodevice=bond0BROADCAST=10.71.164.255IPADDR=10.71.164.38NETMASK=255.255.254.0NETWORK=10.71.164.0REMOTE

18、_IPADDR=BONDING_MASTER=yesBONDING_MODULE_OPTS=mode=1 miimon=200BONDING_SLAVE0=bus-pci-0000:06:00.0BONDING_SLAVE1=bus-pci-0000:06:00.1粗体为需编辑部分，由于绑定的是FABRIC的总线，表明BOND0用于承载公网IP# vi ifcfg-bond1BOOTPROTO=staticSTARTMODE=onbootWIRELESS=nodevice=bond1BROADCAST=192.168.100.255IPADDR=192.168.100.38NETMASK=25

19、5.255.255.0NETWORK=10.71.164.1REMOTE_IPADDR=BONDING_MASTER=yesBONDING_MODULE_OPTS=mode=1 miimon=200BONDING_SLAVE0=bus-pci-0000:0d:04.0BONDING_SLAVE1=bus-pci-0000:0d:04.1注意：Bond1承载私网IP, 绑定文件中总线地址的写法是16进制的，14对应0d3.4.1.3 重启网络# rcnetwork restartShutting down network interfaces: bond0 done bond1 done eth

20、1 device: Intel Corporation PRO/1000 EB Backplane Connection with I/O Acceleration (rev 01) No configuration found for eth1 Nevertheless the interface will be shut down. done eth2 device: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06) No configuration found for eth2 Nevertheless the

21、interface will be shut down. done eth3 device: Broadcom Corporation NetXtreme BCM5715 Gigabit Ethernet (rev a3) No configuration found for eth3 Nevertheless the interface will be shut down. done eth4 device: Broadcom Corporation NetXtreme BCM5715 Gigabit Ethernet (rev a3) No configuration found for

22、eth4 Nevertheless the interface will be shut down. done ethxx2 device: Intel Corporation PRO/1000 EB Backplane Connection with I/O Acceleration (rev 01) No configuration found for ethxx2 Nevertheless the interface will be shut down. doneShutting down service network . . . . . . . . . . . . . doneSet

23、ting up network interfaces: lo lo IP address: 127.0.0.1/8 done eth1 device: Intel Corporation PRO/1000 EB Backplane Connection with I/O Acceleration (rev 01) No configuration found for eth1 unused eth2 device: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06) No configuration found for

24、eth2 unused eth3 device: Broadcom Corporation NetXtreme BCM5715 Gigabit Ethernet (rev a3) No configuration found for eth3 unused eth4 device: Broadcom Corporation NetXtreme BCM5715 Gigabit Ethernet (rev a3) No configuration found for eth4 unused ethxx2 device: Intel Corporation PRO/1000 EB Backplane

25、 Connection with I/O Acceleration (rev 01) No configuration found for ethxx2 unused bond0 bond0 enslaving interfaces: eth1 ethxx2 bond0 IP address: 10.71.164.38/23 as bonding master done bond1 bond1 enslaving interfaces: eth3 eth4 bond1 IP address: 192.168.100.38/24 as bonding master doneSetting up

26、service network . . . . . . . . . . . . . . done注意：重启如果失败，可能导致单板无法连接，因此建议此步在USM上做，万一失败，删除ifcfg-bond0/bond1文件，恢复所有之前备份过的ifcfg-eth-id-MAC地址（如ifcfg-eth-id-00:18:82:35:f6:28）或ifcfg-网卡名（如ifcfg-eth1）的文件，再重启一遍网络即可。3.4.3 3.4.4 3.4.3 配置/etc/hosts文件：修改每个节点的/etc/hosts文件如下：127.0.0.1 localhost.localdomain localh

27、ost# Public IP and hostnames for NIC bond0 at Fabric (public network)10.71.164.38 node-11 # RAC node 110.71.164.39 node-12 # RAC node 2# Private IP and hostnames for NIC bond1 at basic (private Interconnect/heartbeat)192.168.100.38 node-11_priv # RAC node 1192.168.100.39 node-12_priv # RAC node 2# P

28、ublic virtual IP address and hostname (public Virtual Internet Protocol (VIP)10.71.164.8 node-11_vip # RAC node 110.71.164.9 node-12_vip # RAC node 2注意：各节点的/etc/hosts文件要保持一致，不建议一个主机名对多个IP,这样会给网络造成不稳定3.5 3.5 配置用户访问3.5.1 3.5.1创建相关用户和用户组 执行命令用户root节点所有创建dba和oinstall用户组：# /usr/sbin/groupadd oinstall# /u

29、sr/sbin/groupadd dba创建Oracle用户：# /usr/sbin/useradd -u 200 -m -g oinstall -G dba oracle 修改Oracle用户密码：# passwd oracle检查nobody用户是否存在：# id nobody注意：ORACLE RAC每个节点上的oracle用户的ID和oinstall组的ID最好一致3.5.2 3.5.2创建ORACLE软件目录执行命令用户root节点所有创建 Oracle CRS目录：# mkdir p /oracle/crs# chown R root.oinstall /oracle/crs# c

30、hmod R 775 /oracle/crs创建Oracle Base目录：# mkdir p /oracle/db# chown R oracle.oinstall /oracle/db# chmod R 775 /oracle/db注意：ORACLE集群软件的目录与ORACLE BASE必须分别处于不同的路径下，不能存在父子目录关系。3.5.3 3.5.3 配置Oracle用户环境执行命令用户oracle节点所有vi oracle/.bashrc，添加if -t 0 ; then stty intr Cfi对C SHELL则是：vi oracle/.cshrctest -t 0if ($st