glusterfs多节点读写性能测试Word文件下载.docx

glusterfs多节点读写性能测试Word文件下载.docx

《glusterfs多节点读写性能测试Word文件下载.docx》由会员分享，可在线阅读，更多相关《glusterfs多节点读写性能测试Word文件下载.docx（11页珍藏版）》请在冰豆网上搜索。

eth0设置固定，eth1、eth2、eth3三个网口做bond0，ip设为，四个网口四根网线连接到交换机上。

系统节点：

IP别名Brick

data-node3/brick/brick1/

data-node4/brick/brick1/

data-node5/brick/brick1/

data-node6/brick/brick1/

data-client

测试目的：

测试不同节点数下使用glusterfs建立stripe卷挂载到3网口做bond0的client端上，测试他的读写性能

测试方法

测试工具：

ddfio

测试方法：

不同节点数下建立stripe卷，挂载到client端使用dd命令测试他的吞吐量,

fio测试iops

测试过程

测试步骤

1、添加信任池

glusterpeerprobedata-node3

glusterpeerprobedata-node4

glusterpeerprobedata-node5

glusterpeerprobedata-node6

2、创建stripe卷

两个节点

glustervolumecreateteststripe2data-node4:

/brick/brick1/testwdata-node3:

/brick/brick1/testw

三个节点

glustervolumecreatetest1stripe3data-node4:

/brick/brick1/testdata-node3:

/brick/brick1/testdata-node5:

/brick/brick1/test

四个节点

glustervolumecreatetest2stripe4data-node4:

/brick/brick1/testedata-node3:

/brick/brick1/testedata-node5:

/brick/brick1/testedata-node6:

/brick/brick1/teste

3、启动stripe卷

glustervolumestarttest

glustervolumestarttest1

glustervolumestarttest2

5、挂载到client端

data-node3:

/test/mnt

6、使用dd命令测试吞吐率

ddif=/dev/zeroof=/mnt/bs=1Mcount=60000

7、使用fio测试iops

测试脚本

#!

/bin/bash

cd/mnt

sleep10

rm-rftest*

sleep30

cd/

/usr/local/bin/fio--name=/mnt/test--direct=0--iodepth=96--rw=randread--ioengine=posixaio--bs=4k--size=16G--numjobs=20--runtime=3600--group_reporting>

>

/fiotest/

sleep100

sleep60

sleep300

umounttestpool

mount-tglusterfsdata-node3:

/test/mnt/

/usr/local/bin/fio--name=/mnt/test--direct=0--iodepth=96--rw=randwrite--ioengine=posixaio--bs=4k--size=16G--numjobs=20--runtime=3600--group_reporting>

/usr/local/bin/fio--name=/mnt/test--direct=0--iodepth=96--rw=randread--ioengine=posixaio--bs=8k--size=16G--numjobs=20--runtime=3600--group_reporting>

/usr/local/bin/fio--name=/mnt/test--direct=0--iodepth=96--rw=randwrite--ioengine=posixaio--bs=8k--size=16G--numjobs=20--runtime=3600--group_reporting>

/usr/local/bin/fio--name=/mnt/test--direct=0--iodepth=96--rw=randread--ioengine=posixaio--bs=16k--size=16G--numjobs=20--runtime=3600--group_reporting>

/usr/local/bin/fio--name=/mnt/test--direct=0--iodepth=96--rw=randwrite--ioengine=posixaio--bs=16k--size=16G--numjobs=20--runtime=3600--group_reporting>

/usr/local/bin/fio--name=/mnt/test--direct=0--iodepth=96--rw=randread--ioengine=posixaio--bs=32k--size=16G--numjobs=20--runtime=3600--group_reporting>

/usr/local/bin/fio--name=/mnt/test--direct=0--iodepth=96--rw=randwrite--ioengine=posixaio--bs=32k--size=16G--numjobs=20--runtime=3600--group_reporting>

/usr/local/bin/fio--name=/mnt/test--direct=0--iodepth=96--rw=randread--ioengine=posixaio--bs=64k--size=16G--numjobs=20--runtime=3600--group_reporting>

/usr/local/bin/fio--name=/mnt/test--direct=0--iodepth=96--rw=randwrite--ioengine=posixaio--bs=64k--size=16G--numjobs=20--runtime=3600--group_reporting>

测试结果

使用dd命令测试结果：

节点数

2

3

4

吞吐率

MB/s

135MB/s

335MB/s

使用fio的测试结果：

、

1）随机读写的iops

读写类型

块大小

iops

randread

4k

280

s

360

722

8k

218

KB/s

353

600

16k

210

363

559

32k

193

350

11221KB/s

549

17581KB/s

64k

195

12483KB/s

355

22782KB/s

565

36204KB/s

randwrite

414

674

1328

556

1104

2066

16532KB/s

389

746

11945KB/s

1303

20851KB/s

278

439

14064KB/s

698

22346KB/s

198

12713KB/s

298

19075KB/s

422

27039KB/s

iopsrandread条形图

iopsrandwrite条形图

2）顺序读写iops

read

18442

73772KB/s

14916

59666KB/s

26578

106315KB/s

8442

67539KB/s

7836

62694KB/s

13437

107503KB/s

4212

67394KB/s

4315

69042KB/s

6656

106498KB/s

2137

68396KB/s

2512

80410KB/s

3337

106811KB/s

766

49080KB/s

1418

90767KB/s

2080

133154KB/s

write

4798

19196KB/s

10166

40665KB/s

19692

78771KB/s

2208

17666KB/s

6190

49523KB/s

10194

81552KB/s

1119

17906KB/s

2737

43806KB/s

5152

82436KB/s

574

18387KB/s

1139

36471KB/s

2627

84089KB/s

274

17540KB/s

524

33594KB/s

1364

87302KB/s

iops条形图：