Hadoop大数据性能测试总结报告.docx

1、Hadoop大数据性能测试总结报告Hadoop大数据性能测试总结报告Curre nt Vers ion:V0.1Owner:Date Created:2015-08-03Date Last Updated:2015-08-03Last Updated By:Author:黄双雄Reviewed By:Approved By:版本信息版本号修订日修订者审核者描述0.12015.08.03黄双雄压力测试报告初稿1.概述 31.1性能测试背景 31.2性能测试目标 31.3性能测试范围 31.4硬件配置 32.性能测试结果 42.1.单交易基准测试 42.2峰值测试结果 72.3测试结果 101.概

2、述1.1性能测试背景1.2性能测试目标验证hadoop和本地数据 的 列表的读取速度和文件下载速递的优劣性1.3性能测试范围本次性能测试需要获得的性能指标如下所列：1.列表的读取速度2. 打开图片（文件的下载速递）1.4硬件配置硬件配置：XEON8核1.87G 8G内存 550G硬盘2性能测试结果2.1.单交易基准测试用户运行动态:Le genl4 XRun iGrpfiMinrnum |Giaph iGrohMwnum 菁Graph Medan GiapbiSW Deviser o4Q510062 12,67场景名 称业务运行时间Thi nkTime平均响应时间（S）用户数目的基准测试打开列

3、表20 min30.006100验证单一交易 的性能，作为 其它测试类别 结果的参考打开图片20 min30.057100如上图：每秒增加 3个用户，持续加到 100，以100个用户开始运行，持续 20分钟每秒点击数:3422336秒。带宽使用情况:ThroughputDOM 01.DO 0Z00 0300 04. DO QS.OD Dft.DO 07.00 D8J0 OSiMl 10.00 1tD0 12_Cffl 13.00 M.00 1S.M 1S.00 117:00 1S.OO 100 20:00Elapsed scenarco lime mm.ssM.000,0004S.QOO.DO

4、O - 46.000.00044.000.000 ； 4000,000 .000,000 I 3S-Q00.D00 36.000.003 9 OOG.OOO S_000,000 ,000.000 000.000盘 000,000 1 LOOQ,OOO 20.000.000 18.mQO0 馆go込 14.000.000 12.000,00010.000.000 n 8-000.000 JLegend良旳日用 * | Gaph Mawwm 审|曲妙辰左 |G咱phMd. DeMi3od|如上图：随着时间的增加，每秒点击数在不断变化，但趋于平稳，平均约为47次每秒，最高可达 49.5次每47 41

5、148 563 Heaguffefnent审由咄|窗别仙SiaMitry R*wt HfliMiing mrt Ki ts pr Seead Trfen&telivh 盘!（； Trunsn Tiie00.00 Dl:00 02:00 03:W 04:00 053 06.OD 07:M M.Q0 09.W 10:00 11J0 12M 13:00 14.00 I5.G0 W.0Q 17JD lfi.04 19.00 20JDEldred scenana lime mmrssHits per Second| Hits p-sr Second.Tbriraaipixl| Trnsctiin Srn

6、nftryTr dx-sl Rtt百foivx Tim |呂unmKTF RvpoT t | Runnin.（： Vusrirt7T F/jr*- _ - -* - *.一 A- A.irI.!1fI丨 1Ltindl| Me-asuremenf旧曲制hnimunn舀vgrapgGraph Mamvum GFg-hMecianT Graph $ld Deviatipr |Thiowi力put&474935 7535559965 7474931E3223BJZ3S95 625531591R1BrF玉叫*埜1苜亀rs平均事物响应时间:HuTiTiin-C： Vusi-Fl IHits S*cndT

7、hrcuchp-ut |Tr uqx lc t i on Sumrv arySiviniHrj R-iport0.065-006：0 Q5SAverage Transaction Response Time0叱0Q4S-10 04-0 D込0 03OQ2S-!0 02-0 015001r i e i e r i n h aDD.&O DIM DZOD 03_M 04.00 OS-0O Dfi.DO 07: DO DBJ0 0&-00 10.00 11.00 12_00 1X00 14 JO IS.Ofl 1B.D0 17.00 18.M 19.00 20.00Elapsed scenario

8、lim吃 mm:ss(SPLI 曰冨邑 3E 匚 mMeDckOLIQl8需加$i t 密予ScA *Meawr-emwi 35iaph* Min； I Giaphs Ave ,T. IG uphJsGfiSphs Mec.6th-s &td I -Average1tJffS 片0.0540 0570.0650,0571002iQ05?0.0060.00G0.0070QK0QjOOG如上图，随着时间的推移，响应时间开始稳定，个别事物有小幅度波动，但总体趋于稳定事物概要说明:Lt輕前F临咆塔苞11去T? |理|囁 U0-|=|Cal ISci.r.MwsweirieiiiZErPits如上图，事

9、物数全部为 Pass, 0 Fail,说明系统的处理能力较强。每秒事物数：测试结论：如测试结果所示以 100个用户进行单交易基准测试，事务（打开列表、打开图片）平均响应时间均小于 2S,每秒点击数及每秒事物数较高，事物成功率 100%无网络瓶颈且服务器硬件监控性能表现良好，硬件平台的支持满足要求，系统基准测试达标。2.2峰值测试结果场景名称业务业务 比重运行时间Th inkTime并发数目的负载测试打开列表50%20 min33000检测系统 业务性能打开图片50%20 min33000用户运行动态:2 4303 2-30 :2 COO ifl &00：1 fe)Q-H啊0 -1 MO- to

10、ooJ帥LEM :230-广JJrJrJrrRunning Vusers00:00 01:00 &2:00 03:00 H:00 ft:00 MtM 970 Md tM 1t:M 11:M 12:00 13:M 14:00 15:00 16:05 17:0& IS:OG 19:0G 20:00 21:00 22:00 23:00 2:00 25:00 26:00 27:00 2&:00 2MC1 F唸哼“a 遍11 空 P 1 8;m| 莊-s|Gr6ph MiFlimijm金9i曲AverageGrioh Manmjm* Gfph Filed ian 审Grt讨i Std DeviaiiOr

11、tL*Lut1|Rn*i!Q1233=052500|1365793-9MElaps-Bd 与匚Enario time mm.ss如上图，以2500个用户开始运行，每隔1秒增加5个用户，运行20分钟每秒点击数:PUDFmdxHits per Second25.00001QJ0 T5：K 20: MElapsed scensno lime mm：ss：p 1 M&asuement* iGrapti Minnium lveiao?GraiM-amym* | Grph Medan |Graph$：d Deviser 恤37.51S3.694156 7523157Legend 罕 X |如上图：随着时间

12、的增加，每秒点击数在不断变化，但趋于平稳，平均约为154次每秒，最高可达 182次每秒带宽使用:Throughput120,0W.0W now.ooo 110.000.000： lOS.MW.CHOflf IN.OW.CKHh 55.000,000臥 MhOOG 毎 QOOQE 聲000如 000,000 *斂 OWKCKMh .QW,Q0&O.OW.OOG 1 35.0W.0W ；2S.tm.QOG ； 20,0m,J_ ：L20.001S:0QElaps&d scenanc lime mm.ssLeginJ X| F嘘缶暹哑F |sEIMeasurEfneritt | Graph tdri

13、nnunn|工|住眄专geGraph Mawnum OG寺由 hUcfent | Graph Std D品ahz章 |Thxwghput13390332.186115288053.3 -1233-i2&431-7-7-Tin)1000881.3772S:DO如上图，最高带宽峰值是 120000000B，已超过100M/S的局域网传输速率上线，所以已达到峰值事物概耍说明:Tramsicijori Suimnarv就他“ 巧.皿m M.DO&B5.AQ0-&|.10&-75.000- TQ.QOQi - fiS.OOG w.roo- 55.-OOG -45.TOD- ifl.DO&JS.OOO-3

14、0.1300 25.JOQA iim- iorcm5,000 BS0 xF昭嗚诵|匍1工畔一禺Lb打开冏片Sea *Measuremenl回rzF&1P曲如上图，在峰值测试的情况下事物几乎为全部为Pass ,11个Fail,说明系统的处理能力已结达到峰值平均事物响应时间:Elapsed scennc time mm gs1胡除u k|鞘气毬,1缶为|1|關%吾圉llCrfZl State仃| hTwiTErriGiph 旨 Wii 回Graph 5 Ave 审 |Graphs Mc TMk*Graphs Std. |畑計3庐打幵囹片15719.97JM279S.lffi16.01进入列査0M5

15、3.00311.8M11 113jaw&14如上图，随着时间的推移，响应时间开始稳定，个别事物有较大幅度波动，但总体趋于稳定测试结论:以2500个用户开始运行，每隔 1秒增加5个用户由测试结果中的图显示在并发用户数约为 2500用户2500时，系统已达到峰值时，系统事物已有失败的事物出现，且带宽已到峰值，所以由此推断当用户到2.3测试结果hadoop500用户800用户1000用户1500用户2500用户查看列表0.0291.5121.8863.9659.14打开图片3.0555.4948.1181116.01本地查看列表0.0291.4371.9613.9458.968打开图片3.1245.

16、8308.31911.00516.26事物响应时间:500用户（hadoop）孟 puna 血皀 ME-wcoUDd 強0r-00:00 01:00 02：DO 03：0D tM.OO 05：DO D：OD D7 Dfl Q：DD H：00 1DQ0 11：DD 12M 13：M 14:00 15.M 16：DQ 117:00 1BOO 19：0d 20:00 21：D0Elapsed scenario time mm: 53唱临唯口理I曰-1 aj叩 過吗眉x|Cd | Scale reaBUBment Grapha Mm Graph s AveF |Graphs Mas Graphs- M

17、k Graph b Std.-”平均倍1打开图片OW2.918I3.5D53237D.測3.0550-007D.Q28|o.D9S0.025D.01&0029CPUCPU：User%Sys%ait%Idle%CPU%Avg26, 516. 40. 057.142. 9Max42. 323, 11. 599. 063, 6MaK:Avg1. 61, 444. 71* 71+ 5硬盘读写Atb.4000Disk total KB/s centosl - 2015/7/313000KD0L50OLOGO3M)u g 口旨 号潜 2s so a疽 :g“直 3-s E-g 90目 so直 ss s-s

18、 巨官 g“Ki ss 00 割目 ss s-9MDisk *ti怙 KR4 區曲 Era ffl/c W/fac 500用户（本地）2.5 i2.4-2&1.6-1.E-心1.2眄D.4-：Average Transaction Response Timea x| T5 临*t 丨H |画F 00:00 01 041 DZ.flO 03：DD 04 M D5：0D 06 (Ml 07-Dd 05：DD HUO 10:00 11 Hl IZ.K 13：DD H 0 15:00 W D4 1I7：OD 1S：DD 2 -35425W -15W low5 -=dX0 sS? 88-SSSS00E叫atDPatEJ3arEO9TE0atECgiiiariiar0ar9TSOsi站9T bD ST bD STEO 9TEO91ZD：fllZ0：9T TO ST to arD0-900-91 貂丄 昭M es itBS-2T is rcHil21LtHilPCLtLtHIM At 5*訂 5*if 解山 b* ATAverage Transaction Response TimeS9ia 乂| T5 | T | U | 旦 I F I!l|Cd ”Ecale TllMeasunsnieft 丘Graph t Mri Sraphs Av