CEPH分布式存储部署要点Word文档下载推荐.docx
《CEPH分布式存储部署要点Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《CEPH分布式存储部署要点Word文档下载推荐.docx（15页珍藏版）》请在冰豆网上搜索。
node1
192.168.100.101
172.16.100.101
CentOS6.5
mon、mds
node2
192.168.100.102
172.16.100.102
osd
node3
192.168.100.103
172.16.100.103
◆操作系统使用CentOS6.5，因为系统已经包含xfs的支持可以直接使用不需要再次编译。
◆由于CentOS6.5系统的内核为2.6.32，因此要关闭硬盘的写入缓存，若高于此版本不需要关闭。
#hdparm-W0/dev/sdb0
◆本次部署一共有一个监控节点、一个元数据节点、两个数据节点，每个数据节点拥有两个硬盘作为数据盘。
1.2网络拓扑
1.3配置服务器、安装ceph
●添加ceph的rpm库key
#rpm--import'
●添加ceph-extras库
#vi/etc/yum.repos.d/ceph-extras
[ceph-extras]
name=CephExtrasPackages
baseurl=
enabled=1
priority=2
gpgcheck=1
type=rpm-md
gpgkey=
[ceph-extras-noarch]
name=CephExtrasnoarch
[ceph-extras-source]
name=CephExtrasSources
●添加ceph库
#rpm-Uvh
●添加epel库
#rpm-Uvhhttp:
//dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
●安装ceph
#yumupdate-y&
&
yuminstallceph-y
二、部署ceph
2.1创建一个集群
创建一个集群，集群名为ceph，在mon节点，这里是主机node1，执行以下操作
2.1.1获取一个uuid
#uuidgen
2.1.2编辑配置文件
#vi/etc/ceph/ceph.conf
[global]
auth_service_required=cephx
#filestore_xattr_use_omap=true#该选项只针对ext4文件系统格式
auth_client_required=cephx
auth_cluster_required=cephx
authsupported=none
fsid=a500528d-fc02-464e-b944-bddacbb5c3d1#填入刚才获取到的uuid
publicnetwork=192.168.100.0/24
clusternetwork=172.16.100.0/24
osdpooldefaultsize=2
osdpooldefaultminsize=1
maxopenfiles=65535
monosdfullratio=.95
monosdnearfullratio=.85
[mon]
mondata=/data/$cluster-$id
[osd]
osdjournalsize=1024
osdjournal=/data/$name/journal
osddata=/data/$name
2.2创建一个mon
2.2.1编辑配置文件，添加mon参数
[mon.node1]
host=node1
monaddr=192.168.100.101:
6789
2.2.2创建一个monkeyring
#ceph-authtool/etc/ceph/ceph.mon.keyring--create-keyring--gen-key-nmon.
2.2.3创建mon数据目录
#mkdir-p/data/ceph-node1
#ceph-mon-inode1--mkfs--keyring/etc/ceph/ceph.mon.keyring
2.2.4启动并查看集群状态
#/etc/init.d/cephstartmon.node1
#ceph–s
出现以下提示，启动成功：
[root@node1~]#ceph-s
clustera500528d-fc02-464e-b944-bddacbb5c3d1
healthHEALTH_ERR192pgsstuckinactive;
192pgsstuckunclean;
noosds
monmape1:
1monsat{node1=192.168.100.101:
6789/0},electionepoch2,quorum0node1
osdmape1:
0osds:
0up,0in
pgmapv2:
192pgs,3pools,0bytesdata,0objects
0kBused,0kB/0kBavail
192creating
2.3创建一个osd
首先为节点添加一块硬盘（这里是主机node2）
硬件支持热插拔的情况下可以使用以下命令，在线检测新增硬盘
#echo"
---"
>
/sys/class/scsi_host/host2/scan
2.3.1获取osd的ID
##cephosdcreate//记录得到的编号，该编号是下面创建的osd的ID
2.3.2编辑配置文件
添加
[osd.0]
publicaddr=192.168.100.102
clusteraddr=172.16.100.102
2.3.3同步配置文档到节点node2
#scp-rroot@192.168.100.101:
/etc/ceph/root@192.168.100.102:
/etc/
2.3.4部署osd节点
#sshroot@192.168.100.102
#parted/dev/sdbmktablegpt
#parted/dev/sdbmkpartosd.0120g//新加的硬盘为20g，并将所有空间划分为一个分区
#mkfs-txfs/dev/sdb1
#mkdir/data/osd.0
#mount/dev/sdb1/data/osd.0
#ceph-osd-i0--mkfs--mkkey
#cephauthaddosd.0osd'
allow*'
mon'
allowrwx'
-i/data/osd.0/keyring
#cephosdcrushaddosd.00.2root=defaulthost=node2
2.3.5启动osd进程
#ceph-osd-i0
2.3.6查看进程
#ps-ef|grepceph-osd
以下提示启动成功
[root@node2~]#ps-ef|grepceph-osd
root13641008:
42?
00:
00:
07ceph-osd-i0
2.3.7查看osd状态
#exit
#cephosdstat
osd添加成功
[root@node1~]#cephosdstat
osdmape41:
1osds:
1up,1in
2.3.8开机自动启动
#vi/etc/fstab
/dev/sdb1/data/osd.0xfsdefaults00
ceph-osd-i0"
>
/etc/rc.local
2.4创建一个mds
创建mds
#ceph-mds-inode1-nmds.node1-c/etc/ceph/ceph.conf-m192.168.100.101:
检查mds状态，成功启动如下
[root@node1~]#cephmdsstat
e19:
1/1/1up{0=node1=up:
active}
三、配置ceph客户端
3.1确定操作系统内核
3.1.1查看内核版本
#uname-r
若内核版本低于2.6.32时，建议升级到2.6.34或以上
3.1.2更新内核，编译ceph模块
这里以升级到3.10.29为例
#wgethttps:
//www.kernel.org/pub/linux/kernel/v3.x/linux-3.10.29.tar.xz
#tar-Jxvflinux-3.10.29.tar.xz
#cdlinux-3.10.29
#cp/boot/config-2.6.32-431.3.1.el6.x86_64./.config//将当前系统内核的配置文件复制到kernel源文件的目录内
#makemenuconfig
依次选择下面选项，ceph必须编译为模块M
Filesystems-->
NetworkFileSystems-->
C
升级会员 