RH4367 GFS文件系统.docx

1、RH4367 GFS文件系统gfs文件系统一、GFS技术特征 主要应用于大文件和文件系统 支持最大300个节点 支持CLVM，实现卷管理 支持多种锁管理机制 每个节点都具有数据和元数据日志 支持x86/EM64T/AMD64/IA64 POSIX兼容 在线文件系统管理 可以动态扩充 可以动态调整inodes 完全的读/写缓存 直接I/O能力 CDPN支持（Context Dependent Path Names) 支持磁盘配额 ACL支持 连贯的共享mmap()支持 避免中心数据结构存储 支持SAN/GNBD/ISCSI锁管理器GFS支持三种锁管理机制DLM、GULM、nolock。DLM是默

2、认最优的锁管理器。 DLM锁管理器DLM（Distributed Lock Manager）是最优的锁管理器，它避免了GULM锁管理方式中必须提供GULM 锁管理服务器的缺点，不再需要设定锁管理服务器，而是采用对等的锁管理方式，大大提供处理性能，DLM避免了当单个节点失败需要整个恢复的性能瓶颈， DLM的请求是本地的，不需要网络请求，立即生效，通锁分层机制，DLM实现多个锁空间，并行锁模式。 GULM锁管理器GULM是GFS6.1以前的锁管理器，它必须要设置一个锁管理服务器，是一种client/Server的锁管理方式，显示易见，所有的锁请求必须要与锁管理服务器通讯。而且当节点增大的一定数量的

3、时候，可能会出现磁盘的交换，降低了整个GFS系统的性能。 nolock锁管理器 nolock实际并不是一个集群管理锁机制，它只能用于单个节点的GFS系统。一般用来测试和实验用。二、配置lvm，开启gf支持rootnode1 # lvmconf -enable-clusterrootnode1 # cat /etc/lvm/lvm.conf | grep locking_typelocking_type = 3# NB. This option only affects locking_type = 1 viz. local file-based# The external locking li

4、brary to load if locking_type is set to 2.#开启分布式lvm服务以支持gfs选项，locking_type = 3，可手动修改/etc/lvm/lvm.conf，所有节点都需修改。rootnode1 # pvcreate /dev/sdd Physical volume /dev/sdd successfully createdrootnode1 # vgcreate vg01 /dev/sdd Clustered volume group vg01 successfully createdrootnode1 # lvcreate -L 1024 -n

5、 lv01 vg01 Logical volume lv01 createdrootnode1 # lvs LV VG Attr LSize Origin Snap% Move Log Copy% Convert lv00 vg00 -wi-ao 49.97G lv01 vg01 -wi-a- 1.00G 三、gfs组件安装rootnode1 # yum list | grep gfsThis system is not registered with RHN.RHN support will be disabled.gfs-utils.i386 0.1.20-7.el5 installed

6、gfs2-utils.i386 0.1.62-20.el5 installed kmod-gfs.i686 0.1.34-12.el5 installed kmod-gfs-PAE.i686 0.1.34-12.el5 ClusterStorage_32kmod-gfs-xen.i686 0.1.34-12.el5 ClusterStorage_32rootnode1 # uname -aLinux node1 2.6.18-194.el5PAE #1 SMP Tue Mar 16 22:00:21 EDT 2010 i686 i686 i386 GNU/Linuxrootnode1 # yu

7、m install kmod-gfs-PAE.i686 #kmod-gfs必须与系统kernel版本相对应rootnode1 # lsmod | grep gfsgfs2 349833 1 lock_dlmconfigfs 28753 2 dlm#查看内核是否加载gfs模块rootnode1 # service gfs startrootnode1 # service clvmd start #开启分布式lvm服务以支持gfsActivating VGs: 1 logical volume(s) in volume group vg01 now active 1 logical volume(

8、s) in volume group vg00 now active 确定rootnode1 # chkconfig clvmd onrootnode1 # chkconfig gfs on四、创建gfs文件系统1、创建gfs文件系统所需信息（Required information）:Lock manager type lock_nolock ：用于单机支持gfs lock_dlm ：多节点集群Lock file name cluster_name:fs_name ：指定集群名Number of journals One per cluster node accessing the GFS

9、is required Extras are useful to have prepared in advanceSize of journalsFile system block size2、格式：gfs_mkfs -p LockProtoName -t LockTableName -j Number BlockDevicerootnode1 # gfs_mkfs -b 4096 -j 4 -p lock_dlm -t cluster8:gfslv01 /dev/vg01/lv01This will destroy any data on /dev/vg01/lv01.Are you sur

10、e you want to proceed? y/n yDevice: /dev/vg01/lv01Blocksize: 4096Filesystem Size: 131028Journals: 4Resource Groups: 8Locking Protocol: lock_dlmLock Table: cluster8:gfslv01Syncing.All Done#-j：指定日志区数量，大于等于节点数，一般为：nodes+1#-p：指定lock协议，单机可用lock_nolock,lock_nolock多用cluster故障单机加载gfs文件系统#-t：指定支持的集群名和文件系统名五、

11、gfs文件系统的挂载1、可挂载gfs文件系统节点的必要条件 节点必须是gfs所在cluster的一个节点，须防止非gfs所在cluster节点挂载gfs文件系统 检查挂载节点的cluster是否就是gfs的cluter，可以查看gfs的superblock内容rootnode1 # gfs_tool df /var/www/html/var/www/html: SB lock proto = lock_dlm SB lock table = cluster8:gfslv01 #gfs所属cluster SB ondisk format = 1309 SB multihost format =

12、1401 Block size = 4096 Journals = 4 Resource Groups = 14 Mounted lock proto = lock_dlm Mounted lock table = cluster8:gfslv01 Mounted host data = jid=1:id=196611:first=0 Journal number = 1 Lock module flags = 0 Local flocks = FALSE Local caching = FALSE Oopses OK = FALSE Type Total Blocks Used Blocks

13、 Free Blocks use% - inodes 5 5 0 100% metadata 192 0 192 0% data 1441471 0 1441471 0%2、mount选项格式：mount -o StdMountOpts,GFSOptions -t gfs Device Mountpoint#支持标准选项和gfs特定选项lockproto=lock_dlm,lock_nolock：锁机制，lock_dlm用于cluster，lock_nolock用于单机locktable=clustername:fsname ：cluster和文件系统名upgrade : 提升，多用新gfs版

14、本挂载acl ：开启访问控制列表rootnode1 # mount -o lockproto=lock_dlm /dev/vg01/lv01 /var/www/htmlrootnode1 # df -h文件系统 容量 已用 可用 已用% 挂载点/dev/mapper/vg00-lv00 49G 2.9G 44G 7% /dev/sda1 251M 23M 216M 10% /boottmpfs 2.0G 0 2.0G 0% /dev/shm/dev/mapper/vg01-lv01 5.5G 24K 5.5G 1% /var/www/htmlrootnode1 # umount /var/ww

15、w/html #卸载文件系统六、Journals日志管理1、查看superblock信息rootnode1 # gfs_tool df /var/www/html/var/www/html: SB lock proto = lock_dlm #锁机制 SB lock table = cluster8:gfslv01 #cluster SB ondisk format = 1309 SB multihost format = 1401 Block size = 4096 #块大小，gfs_mkfs -b指定块大小 Journals = 4 #日志数量 Resource Groups = 14 M

16、ounted lock proto = lock_dlm Mounted lock table = cluster8:gfslv01 Mounted host data = jid=2:id=196611:first=0 Journal number = 2 Lock module flags = 0 Local flocks = FALSE Local caching = FALSE Oopses OK = FALSE Type Total Blocks Used Blocks Free Blocks use% - inodes 5 5 0 100% metadata 192 0 192 0

17、% data 1441471 0 1441471 0%2、检查日志数量rootnode1 # gfs_tool jindex /var/www/html | grep JournalJournal 0:Journal 1:Journal 2:Journal 3:3、增加日志数量要求：lv有足够的空间支持日志数量的增加 必须在拉升gfs文件系统前前增加日志数量rootnode1 # gfs_jadd -Tv -j 2 /var/www/html #增加日志数前测试，确保磁盘空间足够Requested size (65536 blocks) greater than available space

18、 (0 blocks)rootnode1 # gfs_jadd -j 2 /var/www/html #增加2个日志Requested size (65536 blocks) greater than available space (0 blocks)七、GFS系统的扩展1、扩展逻辑卷rootnode1 # pvcreate /dev/sde Physical volume /dev/sde successfully createdrootnode1 # vgextend vg01 /dev/sde Volume group vg01 successfully extendedrootnod

19、e1 # lvextend -L +5120M /dev/vg01/lv01 #扩展逻辑卷 Extending logical volume lv01 to 6.00 GB Logical volume lv01 successfully resized2、扩展gfs（gfs_grow -v Device|Mount_point）rootnode1 # gfs_grow -v /dev/vg01/lv01 #扩展gfsFS: Mount Point: /var/www/htmlFS: Device: /dev/mapper/vg01-lv01FS: Options: rw,hostdata=j

20、id=1:id=196611:first=0FS: Size: 262142RGRP: Current Resource Group List:RI: Addr 245760, RgLen 2, Start 245762, DataLen 16380, BmapLen 4095RI: Addr 229376, RgLen 2, Start 229378, DataLen 16380, BmapLen 4095RI: Addr 212992, RgLen 2, Start 212994, DataLen 16380, BmapLen 4095RI: Addr 196608, RgLen 2, S

21、tart 196610, DataLen 16380, BmapLen 4095RI: Addr 49157, RgLen 2, Start 49159, DataLen 16376, BmapLen 4094RI: Addr 32778, RgLen 2, Start 32780, DataLen 16376, BmapLen 4094RI: Addr 16399, RgLen 2, Start 16401, DataLen 16376, BmapLen 4094RI: Addr 17, RgLen 2, Start 19, DataLen 16380, BmapLen 4095RGRP:

22、8 Resource groups in totalJRNL: Current Journal List:JI: Addr 163840 NumSeg 2048 SegSize 16JI: Addr 131072 NumSeg 2048 SegSize 16JI: Addr 98304 NumSeg 2048 SegSize 16JI: Addr 65536 NumSeg 2048 SegSize 16JRNL: 4 Journals in totalDEV: Size: 1572864RGRP: New Resource Group List:RI: Addr 262142, RgLen 6

23、, Start 262148, DataLen 91120, BmapLen 22780RI: Addr 353269, RgLen 15, Start 353284, DataLen 243904, BmapLen 60976RI: Addr 597188, RgLen 15, Start 597203, DataLen 243904, BmapLen 60976RI: Addr 841107, RgLen 15, Start 841122, DataLen 243904, BmapLen 60976RI: Addr 1085026, RgLen 15, Start 1085041, Dat

24、aLen 243904, BmapLen 60976RI: Addr 1328945, RgLen 15, Start 1328960, DataLen 243904, BmapLen 60976RGRP: 6 Resource groups in totalPreparing to write new FS information.Done.rootnode1 # df -h文件系统 容量 已用 可用 已用% 挂载点/dev/mapper/vg00-lv00 49G 2.9G 44G 7% /dev/sda1 251M 23M 216M 10% /boottmpfs 2.0G 0 2.0G

25、0% /dev/shm/dev/mapper/vg01-lv01 5.5G 20K 5.5G 1% /var/www/html八、gfs文件系统inode节点的动态分配1、GFS有inode节点空间自动分配的能力（就是说不用为inode预先分配磁盘空间，GFS自己会去动态分配）；2、GFS的inode有4K（默认）一个块那么大（普通的fs在2K左右），为了增进效率，如果文件内容足够小，会被直接存放在inode内；3、手动回收无用的inode所占空间:gfs_tool reclaim rootnode1 # gfs_tool reclaim /var/www/htmlDont do this i

26、f this file system is being exported by NFS (on any machine).Are you sure you want to proceed? y/n yReclaimed:version 0inodes 0metadata 192九、gfs参数调优1、查看gfs参数rootnode1 # gfs_tool gettune /var/www/htmlilimit1 = 100ilimit1_tries = 3ilimit1_min = 1ilimit2 = 500ilimit2_tries = 10ilimit2_min = 3demote_secs = 300incore_log_blocks = 1024jindex_refresh_secs = 60depend_secs = 60scand_secs = 5recoverd_secs = 60logd_secs