iSCSI+RHCS+GFS安装配置.docx

1、iSCSI+RHCS+GFS安装配置iSCSI+RHCS+GFS安装配置2011年1月目 录1 OpenFiler2.3 安装 31.1 OpenFiler2.3安装 31.2 iSCSI Target配置 32 Red hat Enterprise Linux 5.1安装 33 iscsi initiator配置 33.1 安装iSCSI Initiator 33.2 确认iSCSI服务随系统启动而启动 33.3 设置InitiatorName 43.4 启动iSCSI服务 43.5 分配存储资源，在Linux上执行target的发现 53.6 登录Target 63.7 验证是否登录成功

2、64 配置RHCS 74.1 需要用到的包 74.2 各节点hosts配置 74.3 配置RHCS 74.3.1 在node1上执行 74.3.2 在node2上执行 94.4 关闭iptables 94.5 启动cluster 94.6 启动失败处理办法 95 加载GFS文件系统 95.1 格式化GFS文件系统 95.2 挂载GFS节点 105.3 测试 106 设置开机自动挂载GFS目录 10OpenFiler2.3 安装OpenFiler2.3安装略iSCSI Target配置配置过程略。配置结果：共享一块2G逻辑卷组作为iSCSI Target。Red hat Enterprise L

3、inux 5.1安装略iscsi initiator配置以下以RHEL 5 x86版本为例介绍如何安装并配置iSCSI initiator。两台GFS节点相同配置。安装iSCSI Initiatoriscsi-initiator-utils-6.2.0.742-0.5.el5.i386.rpm在RHEL5 x86第一张安装光盘Server目录下。rootpe03 Server# rpm -ivh iscsi-initiator-utils-6.2.0.742-0.5.el5.i386.rpmwarning: iscsi-initiator-utils-6.2.0.742-0.5.el5.i38

4、6.rpm: Header V3 DSA signature: NOKEY, key ID 37017186Preparing. # 100%1:iscsi-initiator-utils # 100%这个安装将iscsid、iscsiadm安装到/sbin目录下，它还将把默认的配置文件安装到/etc/iscsi目录下：/etc/iscsi/iscsid.conf 所有刚发起的iSCSI session默认都将使用这个文件中的参数设定。/etc/iscsi/initiatorname.iscsi 软件iSCSI initiator的intiator名称配置文件。在iscsi启动的时候，iscs

5、id和iscsiadm会读取这两个配置文件。确认iSCSI服务随系统启动而启动用chkconfig检查iscsi和iscsid服务在运行级别3和5中随系统的启动而自动启动rootpe03 Server# chkconfig -list |grep iscsiiscsi 0:off 1:off 2:off 3:on 4:on 5:on 6:offiscsid 0:off 1:off 2:off 3:on 4:on 5:on 6:off如果iscsid和iSCSI没有随系统的启动而启动，则用chkconfig设置这两个服务在系统运行级别为3和5时随系统启动而启动rootpe03 Server# c

6、hkconfig iscsi -level 35 onrootpe03 Server# chkconfig iscsid -level 35 on 设置InitiatorName用vi编辑/etc/iscsi/initiatorname.iscsi文件，文件内容如下InitiatorName=iqn.2005-.max:pe03本例中InitiatorName设置为iqn.2005-.max:pe03 需要从存储管理界面上找注意： InitiatorName这个单词必须注意大小写，同时，必须顶格写，xxxx代表要设置的initiator名称，请遵循iqn命名规范。 iqn规范定义的Initia

7、torName格式为iqn.domaindate. reverse.domain.name:optional name，例如：iqn.2006-.h3c:dbserver。 启动iSCSI服务rootpe03 Server# service iscsi startTurning off network shutdown. Starting iSCSI daemon: OK OK Setting up iSCSI targets: OK 用service iscsi status及service iscsid status查看iscsi相关服务的运行状态rootpe03 Server# serv

8、ice iscsi statusiscsid (pid 3697 3696) is running.rootpe03 Server# service iscsid statusiscsid (pid 3697 3696) is running. Open-iSCSI是通过以下iSCSI数据库文件来实现永久配置的：Discovery (/var/lib/iscsi/send_targets)：在/var/lib/iscsi/send_targets目录下包含iSCSI portals的配置信息，每个portal对应一个文件，文件名为“iSCSI portal IP，端口号”（例如“200.200

9、.10.200,3260”）。Node (/var/lib/iscsi/nodes)：在/var/lib/iscsi/nodes目录下，生成一个或多个以iSCSI存储服务器上的Target名命名的文件夹，在该文件夹下有一个文件名为“iSCSI portal IP，端口号” （例如“200.200.10.200,3260”）的配置参数文件，该文件中是initiator登录target时要使用的参数，这些参数的设置是从/etc/iscsi/iscsi.conf中的参数设置继承而来的，可以通过iscsiadm对某一个参数文件进行更改（需要先注销到target的登录）。iscsiadm是用来管理（更新

10、、删除、插入、查询）iSCSI配置数据库文件的命令行工具，用户能够用它对iSCSI nodes、sessions、connections和discovery records进行一系列的操作。分配存储资源，在Linux上执行target的发现RHEL 5上当前的iSCSI Initiator版本只支持sendtargets 的发现方式，不支持SLP和iSNS 假设后端存储为IX1000，iSCSI业务IP地址为192.168.169.80，则使用下面的命令执行target的发现：rootpe03 Server# iscsiadm -m discovery -t sendtargets -p 19

11、2.168.169.80:3260 因为此时还没有在IX1000上创建该initiator并分配卷，这个命令执行成功后没有任何输出，但是此时到IX1000上会查看到有新的initiator生成。在IX1000上把卷分配给Linux服务器后，再次执行target的发现：rootpe03 Server# iscsiadm -m discovery -t sendtargets -p 192.168.169.80:3260iscsiadm: unexpected SendTargets data: 192.168.169.80:3260,1 iqn.2007-:h3c:200realm.rhel5

12、此时发现了一个新的target，target名称为iqn.2007-:h3c:200realm.rhel5注：在IP SAN存储设备上把相应的存储空间分配给RedHat Linux服务器的具体操作请参照各存储设备相关的指导书登录Targetrootpe03 Server# iscsiadm -m node -T iqn.2007-:h3c:200realm.rhel5 -p 192.168.169.80:3260 -l 这里-T后面跟target名称，最后的-l（英文字母中小写的L），是login的意思。可以使用iscsiadm -m node -loginall=all 一次登录所有的tar

13、gets。rootpe03 Server# iscsiadm -m node -loginall=allrootnode2 nfstest# rm -rf Thread-*rootnode2 nfstest# fdisk -l验证是否登录成功rootnode2 nfstest# fdisk -lDisk /dev/sda: 10.7 GB, 10737418240 bytes255 heads, 63 sectors/track, 1305 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytes Device Boot Start E

14、nd Blocks Id System/dev/sda1 * 1 25 200781 83 Linux/dev/sda2 26 156 1052257+ 82 Linux swap / Solaris/dev/sda3 157 1305 9229342+ 83 Linux本地磁盘Disk /dev/sdb: 2113 MB, 2113929216 bytes66 heads, 62 sectors/track, 1008 cylindersUnits = cylinders of 4092 * 512 = 2095104 bytes Device Boot Start End Blocks I

15、d System/dev/sdb1 1 1008 2062337 5 Extended/dev/sdb5 1 1008 2062306 83 Linux用openfiler共享出的2G硬盘配置RHCS需要用到的包在2台机器上分别按顺序手工安装GFS软件包，清单如下： rpm -Uvh perl-Net-Telnet-3.03-5.noarch.rpm #（rpm包在RHEL5安装盘第3张的Server目录里） rpm -Uvh openais-0.80.2-1.el5.x86_64.rpm #（rpm包在RHEL5安装盘第3张的Server目录里） rpm -Uvh cman-2.0.60-1

16、.el5.x86_64.rpm #（rpm包在RHEL5安装盘第3张的Server目录里） rpm -Uvh gfs2-utils-0.1.25-1.el5.x86_64.rpm #（rpm包在RHEL5安装盘第3张的Server目录里） rpm -Uvh gfs-utils-0.1.11-1.el5.x86_64.rpm #（rpm包在RHEL5安装盘第6张的Cluster目录里） rpm -Uvh kmod-gfs-0.1.16-5.2.6.18_8.el5.x86_64.rpm #（rpm包在RHEL5安装盘第6张的Cluster目录里） rpm -Uvh lvm2-cluster-2.

17、02.16-3.el5.x86_64.rpm #（rpm包在RHEL5安装盘第6张的Cluster目录里） rpm -Uvh system-config-cluster-1.0.39-1.0.noarch.rpm #（rpm包在RHEL5安装盘第6张的Cluster目录里） rpm -Uvh rgmanager-2.0.23-1.x86_64.rpm #（rpm包在RHEL5安装盘第6张的Cluster目录里）各节点hosts配置配置两个节点hosts如下：192.168.169.100 node1192.168.169.120 node2配置RHCS在node1上执行rootnode1 ro

18、otsystem-config-cluster1) 命名cluster(点击Cluster，然后点击Create New Configuration) 2) 添加每个节点 (点击Cluster Nodes，然后点击Add a Cluster Node) 3) 设置 fence设备 (点击Fence Devices，然后点击Add a Fence Device)。备注：fence设备用于监控哪台机器挂了，是集群套件RHCS的一个组件，由于我这边只共享磁盘，所以选择Manual Fencing, 命名为 manual_fence。 4) 在每个节点上添加一个fence设备 (点击设备节点名，点击M

19、anage Fencing for This Node;点击Add a New Fence Level;点击 Fence-Level-1,点击Add a New Fence to This Level；最后选择名为的manual_fence的fence设备。 5) 共享盘阵，所以不需要创建任何“Services”或“Resources”。 6) 保存配置。 7) 配置好的cluster.conf全文如下：rootnode1 cluster# cat /etc/cluster/cluster.conf rootnode1 cluster#在node2上执行rootnode2 clusterscp

20、 192.168.169.100:/etc/cluster/cluster.conf ./保持两个节点cluster.conf一致关闭iptablesservice iptables stop启动cluster因为是手动fence，最好两个节点同时执行以下命令：service cman start service clvmd start service gfs start service rgmanager start启动失败处理办法复制失败提示信息，或从/var/log/message中获取日志信息，到baidu或google上查询。加载GFS文件系统格式化GFS文件系统命令格式：gfs_m

21、kfs -p lock_dlm -t ClusterName:FSName -j Number BlockDevice -p 这个参数后边跟的是gfs锁机制，一般情况下就用lock_dlm -t 后边是ClusterName:FSName 其中ClusterName是cluster名，就是配置文件中指定的cluster名，FSName是给新格式化好的gfs分区的名字 -j 代表是journal的个数，一般情况是2个除非一些特殊情况否则不用再单作调整。 BlockDevice 就是要被格式化的设备名称。以下在集群gfs_cluster管理下的逻辑卷/dev/sdb5里创建管理2个节点，名为gfs

22、01的文件系统），只需在其中一个节点上执行： gfs_mkfs -p lock_dlm -t gfs_cluster:gfs01 -j 4 /dev/sdb5 挂载GFS节点在2台机器上创建挂载点 mkdir /gfs01在2台机器上挂载/dev/sdb5到成/ gfs01目录： mount -t gfs /dev/sdb5 /gfs01df -h查看效果。测试node1上执行以下命令：rootnode1 gfs01# echo 123 gfstestrootnode1 gfs01# cat gfstest 123rootnode1 gfs01# ll gfstest -rw-r-r- 1 root root 4 Jan 31 23:20 gfstestnode2上：rootnode2 gfs01# ll gfstest -rw-r-r- 1 root root 4 Jan 31 23:20 gfstestrootnode2 gfs01# cat gfstest 123两个节点上看到的内容一致设置开机自动挂载GFS目录vi /etc/fstab，加入：/dev/sdb5 /gfs01 gfs defaults 0 0