iSCSI+RHCS+GFS安装配置.docx
《iSCSI+RHCS+GFS安装配置.docx》由会员分享，可在线阅读，更多相关《iSCSI+RHCS+GFS安装配置.docx（9页珍藏版）》请在冰豆网上搜索。
iSCSI+RHCS+GFS安装配置
iSCSI+RHCS+GFS安装配置
2011年1月
目录
1OpenFiler2.3安装3
1.1OpenFiler2.3安装3
1.2iSCSITarget配置3
2RedhatEnterpriseLinux5.1安装3
3iscsiinitiator配置3
3.1安装iSCSIInitiator3
3.2确认iSCSI服务随系统启动而启动3
3.3设置InitiatorName4
3.4启动iSCSI服务4
3.5分配存储资源，在Linux上执行target的发现5
3.6登录Target6
3.7验证是否登录成功6
4配置RHCS7
4.1需要用到的包7
4.2各节点hosts配置7
4.3配置RHCS7
4.3.1在node1上执行7
4.3.2在node2上执行9
4.4关闭iptables9
4.5启动cluster9
4.6启动失败处理办法9
5加载GFS文件系统9
5.1格式化GFS文件系统9
5.2挂载GFS节点10
5.3测试10
6设置开机自动挂载GFS目录10
OpenFiler2.3安装
OpenFiler2.3安装
略
iSCSITarget配置
配置过程略。
配置结果：
共享一块2G逻辑卷组作为iSCSITarget。
RedhatEnterpriseLinux5.1安装
略
iscsiinitiator配置
以下以RHEL5x86版本为例介绍如何安装并配置iSCSIinitiator。
两台GFS节点相同配置。
安装iSCSIInitiator
iscsi-initiator-utils-6.2.0.742-0.5.el5.i386.rpm在RHEL5x86第一张安装光盘Server目录下。
[root@pe03Server]#rpm-ivhiscsi-initiator-utils-6.2.0.742-0.5.el5.i386.rpm
warning:
iscsi-initiator-utils-6.2.0.742-0.5.el5.i386.rpm:
HeaderV3DSAsignature:
NOKEY,keyID37017186
Preparing...###########################################[100%]
1:
iscsi-initiator-utils###########################################[100%]
这个安装将iscsid、iscsiadm安装到/sbin目录下，它还将把默认的配置文件安装到/etc/iscsi目录下：
/etc/iscsi/iscsid.conf所有刚发起的iSCSIsession默认都将使用这个文件中的参数设定。
/etc/iscsi/initiatorname.iscsi软件iSCSIinitiator的intiator名称配置文件。
在iscsi启动的时候，iscsid和iscsiadm会读取这两个配置文件。
确认iSCSI服务随系统启动而启动
用chkconfig检查iscsi和iscsid服务在运行级别3和5中随系统的启动而自动启动
[root@pe03Server]#chkconfig--list|grepiscsi
iscsi0:
off1:
off2:
off3:
on4:
on5:
on6:
off
iscsid0:
off1:
off2:
off3:
on4:
on5:
on6:
off
如果iscsid和iSCSI没有随系统的启动而启动，则用chkconfig设置这两个服务在系统运行级别为3和5时随系统启动而启动
[root@pe03Server]#chkconfigiscsi--level35on
[root@pe03Server]#chkconfigiscsid--level35on
设置InitiatorName
用vi编辑/etc/iscsi/initiatorname.iscsi文件，文件内容如下
InitiatorName=iqn.2005-.max:
pe03
本例中InitiatorName设置为iqn.2005-.max:
pe03需要从存储管理界面上找
注意：
ØInitiatorName这个单词必须注意大小写，同时，必须顶格写，xxxx代表要设置的initiator名称，请遵循iqn命名规范。
Øiqn规范定义的InitiatorName格式为iqn.domaindate.reverse.domain.name:
optionalname，例如：
iqn.2006-.h3c:
dbserver。
启动iSCSI服务
root@pe03Server]#serviceiscsistart
Turningoffnetworkshutdown.StartingiSCSIdaemon:
[OK]
[OK]
SettingupiSCSItargets:
[OK]
用serviceiscsistatus及serviceiscsidstatus查看iscsi相关服务的运行状态
[root@pe03Server]#serviceiscsistatus
iscsid（pid36973696）isrunning...
[root@pe03Server]#serviceiscsidstatus
iscsid（pid36973696）isrunning...
Open-iSCSI是通过以下iSCSI数据库文件来实现永久配置的：
Discovery（/var/lib/iscsi/send_targets）：
在/var/lib/iscsi/send_targets目录下包含iSCSIportals的配置信息，每个portal对应一个文件，文件名为“iSCSIportalIP，端口号”（例如“200.200.10.200,3260”）。
Node（/var/lib/iscsi/nodes）：
在/var/lib/iscsi/nodes目录下，生成一个或多个以iSCSI存储服务器上的Target名命名的文件夹，在该文件夹下有一个文件名为“iSCSIportalIP，端口号”（例如“200.200.10.200,3260”）的配置参数文件，该文件中是initiator登录target时要使用的参数，这些参数的设置是从/etc/iscsi/iscsi.conf中的参数设置继承而来的，可以通过iscsiadm对某一个参数文件进行更改（需要先注销到target的登录）。
iscsiadm是用来管理（更新、删除、插入、查询）iSCSI配置数据库文件的命令行工具，用户能够用它对iSCSInodes、sessions、connections和discoveryrecords进行一系列的操作。
分配存储资源，在Linux上执行target的发现
RHEL5上当前的iSCSIInitiator版本只支持sendtargets的发现方式，不支持SLP和iSNS
假设后端存储为IX1000，iSCSI业务IP地址为192.168.169.80，则使用下面的命令执行target的发现：
[root@pe03Server]#iscsiadm-mdiscovery-tsendtargets-p192.168.169.80:
3260
因为此时还没有在IX1000上创建该initiator并分配卷，这个命令执行成功后没有任何输出，但是此时到IX1000上会查看到有新的initiator生成。
在IX1000上把卷分配给Linux服务器后，再次执行target的发现：
[root@pe03Server]#iscsiadm-mdiscovery-tsendtargets-p192.168.169.80:
3260
iscsiadm:
unexpectedSendTargetsdata:
192.168.169.80:
3260,1iqn.2007-:
h3c:
200realm.rhel5
此时发现了一个新的target，target名称为iqn.2007-:
h3c:
200realm.rhel5
注：
在IPSAN存储设备上把相应的存储空间分配给RedHatLinux服务器的具体操作请参照各存储设备相关的指导书
登录Target
[root@pe03Server]#iscsiadm-mnode-Tiqn.2007-:
h3c:
200realm.rhel5-p192.168.169.80:
3260-l
这里-T后面跟target名称，最后的-l（英文字母中小写的L），是login的意思。
可以使用iscsiadm-mnode--loginall=all一次登录所有的targets。
[root@pe03Server]#iscsiadm-mnode--loginall=all
[root@node2nfstest]#rm-rfThread-*
[root@node2nfstest]#fdisk-l
验证是否登录成功
[root@node2nfstest]#fdisk-l
Disk/dev/sda:
10.7GB,10737418240bytes
255heads,63sectors/track,1305cylinders
Units=cylindersof16065*512=8225280bytes
DeviceBootStartEndBlocksIdSystem
/dev/sda1*12520078183Linux
/dev/sda2261561052257+82Linuxswap/Solaris
/dev/sda315713059229342+83Linux
本地磁盘
Disk/dev/sdb:
2113MB,2113929216bytes
66heads,62sectors/track,1008cylinders
Units=cylindersof4092*512=2095104bytes
DeviceBootStartEndBlocksIdSystem
/dev/sdb11100820623375Extended
/dev/sdb511008206230683Linux
用openfiler共享出的2G硬盘
配置RHCS
需要用到的包
在2台机器上分别按顺序手工安装GFS软件包，清单如下：
rpm-Uvhperl-Net-Telnet-3.03-5.noarch.rpm ######（rpm包在RHEL5安装盘第3张的Server目录里）
rpm-Uvhopenais-0.80.2-1.el5.x86_64.rpm ######（rpm包在RHEL5安装盘第3张的Server目录里）
rpm-Uvhcman-2.0.60-1.el5.x86_64.rpm ######（rpm包在RHEL5安装盘第3张的Server目录里）
rpm-Uvhgfs2-utils-0.1.25-1.el5.x86_64.rpm ######（rpm包在RHEL5安装盘第3张的Server目录里）
rpm-Uvhgfs-utils-0.1.11-1.el5.x86_64.rpm ######（rpm包在RHEL5安装盘第6张的Cluster目录里）
rpm-Uvhkmod-gfs-0.1.16-5.2.6.18_8.el5.x86_64.rpm ######（rpm包在RHEL5安装盘第6张的Cluster目录里）
rpm-Uvhlvm2-cluster-2.02.16-3.el5.x86_64.rpm ######（rpm包在RHEL5安装盘第6张的Cluster目录里）
rpm-Uvhsystem-config-cluster-1.0.39-1.0.noarch.rpm ######（rpm包在RHEL5安装盘第6张的Cluster目录里）
rpm-Uvhrgmanager-2.0.23-1.x86_64.rpm ######（rpm包在RHEL5安装盘第6张的Cluster目录里）
各节点hosts配置
配置两个节点hosts如下：
192.168.169.100node1
192.168.169.120node2
配置RHCS
在node1上执行
[root@node1root]system-config-cluster
1）命名cluster（点击"Cluster"，然后点击""CreateNewConfiguration"）
2）添加每个节点（点击"ClusterNodes"，然后点击"AddaClusterNode"）
3）设置fence设备（点击"FenceDevices"，然后点击"AddaFenceDevice"）。
备注：
fence设备用于监控哪台机器挂了，是集群套件RHCS的一个组件，由于我这边只共享磁盘，所以选择"ManualFencing",命名为"manual_fence"。
4）在每个节点上添加一个fence设备（点击设备节点名，点击"ManageFencingforThisNode";点击"AddaNewFenceLevel";点击"Fence-Level-1",点击"AddaNewFencetoThisLevel"；最后选择名为的manual_fence的fence设备。
5）共享盘阵，所以不需要创建任何“Services”或“Resources”。
6）保存配置。
7）配置好的cluster.conf全文如下：
[root@node1cluster]#cat/etc/cluster/cluster.conf
xmlversion="1.0"?
>
[root@node1cluster]#
在node2上执行
[root@node2cluster]scp192.168.169.100:
/etc/cluster/cluster.conf./
保持两个节点cluster.conf一致
关闭iptables
serviceiptablesstop
启动cluster
因为是手动fence，最好两个节点同时执行以下命令：
servicecmanstart
serviceclvmdstart
servicegfsstart
servicergmanagerstart
启动失败处理办法
复制失败提示信息，或从/var/log/message中获取日志信息，到baidu或google上查询。
加载GFS文件系统
格式化GFS文件系统
命令格式：
gfs_mkfs-plock_dlm-tClusterName:
FSName-jNumberBlockDevice
-p这个参数后边跟的是gfs锁机制，一般情况下就用lock_dlm
-t后边是ClusterName:
FSName
其中ClusterName是cluster名，就是配置文件中指定的cluster名，FSName是给新格式化好的gfs分区的名字
-j代表是journal的个数，一般情况是2个除非一些特殊情况否则不用再单作调整。
BlockDevice就是要被格式化的设备名称。
以下在集群gfs_cluster管理下的逻辑卷/dev/sdb5里创建管理2个节点，名为gfs01的文件系统），只需在其中一个节点上执行：
gfs_mkfs-plock_dlm-tgfs_cluster:
gfs01-j4/dev/sdb5
挂载GFS节点
在2台机器上创建挂载点
mkdir/gfs01
在2台机器上挂载/dev/sdb5到成/gfs01目录：
mount-tgfs/dev/sdb5/gfs01
df-h查看效果。
测试
node1上执行以下命令：
[root@node1gfs01]#echo"123">>gfstest
[root@node1gfs01]#catgfstest
123
[root@node1gfs01]#llgfstest
-rw-r--r--1rootroot4Jan3123:
20gfstest
node2上：
[root@node2gfs01]#llgfstest
-rw-r--r--1rootroot4Jan3123:
20gfstest
[root@node2gfs01]#catgfstest
123
两个节点上看到的内容一致
设置开机自动挂载GFS目录
vi/etc/fstab，加入：
/dev/sdb5/gfs01gfsdefaults00
升级会员 