Hadoop企业级大数据平台测试报告.docx
《Hadoop企业级大数据平台测试报告.docx》由会员分享，可在线阅读，更多相关《Hadoop企业级大数据平台测试报告.docx（16页珍藏版）》请在冰豆网上搜索。
Hadoop企业级大数据平台测试报告
Hadoop企业级大数据平台
测试报告
目录
1.测试目的3
2.测试环境3
2.1.硬件环境3
2.2.软件环境4
3.测试内容4
3.1.基本功能4
3.1.1.HDFS功能验证4
3.1.2.YARN功能验证6
3.1.3.扩容测试8
3.2.性能9
3.2.1.HDFS性能测试9
3.2.2.YARN性能测试12
3.3.高可用16
3.3.1.HDFS高可用测试16
3.3.2.YARN高可用测试18
3.3.3.Kerberos高可用测试21
1.测试目的
通过功能、性能、高可用测试，验证Hadoop是否满足在大数据基础架构平台对精细化营销和客流分析应用的需求。
2.测试环境
2.1.硬件环境
硬件位置信息：
硬件配置清单：
序号
设备名称
设备数量
设备用途说明
操作系统
设备类型
设备配置
备注
CPU
内存
硬盘
1
分布式内存服务节点
20
部署分布式内存服务
Redhat7.0
X86机架服务器
（华为RH5885V3）
32C
512GB
6*600GBSAS
部署docker、Rediscluster分布式内存数据库、SQLFire分布式内存数据库等服务
2
分布式协调及资源调度节点
3
实现分布式协调服务、资源调度服务
Redhat6.5
虚拟机
16C
40GB
80GB
部署zookeeper、yarn等服务
硬件配置表：
设备类型/型号
单台配置
数量
X86机架式服务器
（华为RH5885V3）
单台4路八核E7-4820V22.0GHzCPU/512GB内存/6*600GBSAS硬盘/4*10GE光/4*GE电
20
2.2.软件环境
软件名称
版本
用途
RedHat
RedHatEnterpriseLinuxServerrelease7.0
服务器操作系统
Redis
Redis3.0
分布式内存数据库
3.测试内容
3.1.基本功能
3.1.1.HDFS功能验证
用例名称
创建目录/查询/删除/下载/上传
测试目的
创建目录/查询/删除/下载/上传
预置条件
1）系统运行正常
2）系统中存在运行状态的主机
测试过程
预期结果
1.执行kinittest输入密码，完成用户认证。
2.创建文件夹，执行语句：
hdfsdfs-mkdir/tmp/mydir
3.查看文件夹，执行语句：
hdfsdfs-ls/tmp
4.删除文件夹，执行语句：
hdfsdfs-rm-r/tmp/mydir
5.查看文件夹，执行语句：
hdfsdfs-ls/tmp
6.上传本地文件（指定本地存在的文件），执行语句：
hdfsdfs-put/tmp/testAccess.txt/tmp/，再执行查看指令检查文件是否存在hdfsdfs-ls/tmp
7.下载文件到本地，执行语句：
hdfsdfs-get/tmp/testAccess.txt/opt/
8.删除文件，执行语句：
hdfsdfs-rm/tmp/testAccess.txt，再执行查看指令检查文件是否存在hdfsdfs-ls/tmp
测试结果
通过
1、部分操作需要超级用户hdfs完成。
2、mkdir,ls,rm,put,get等操作均可执行成功。
备注
1.建议:
Kerberos‘sexpiretimeisbiggerthentherenewtime.
需修改Kerberos配置完成。
expiretime<=renewtime
如不修改，可能在任务执行周期过长（expiretime）时导致认证失败，任务执行不成功。
测试截图：
3.1.2.YARN功能验证
用例名称
提交/删除/查询Yarn任务
测试目的
验证支持提交/删除/查询Yarn任务
预置条件
1）系统运行正常
2）系统中存在运行状态的主机
测试过程
预期结果
1.执行kinittest输入密码，完成用户认证
2.执行hadoop自带的测试程序TestDFSIO，提交一个MR任务
hadoopjar/usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient-tests.jarTestDFSIO-write-nrFilesN-fileSizeSize
其中N指文件个数，Size指文件大小
3.等待任务运行结束，显示执行结果
4.使用TestDFSIO重新提交一个MR任务。
5.使用yarnapplication-list查看正在运行的TestDFSIO任务的ApplicationID。
6.使用yarnapplication–kill命令，kill正在运行的任务。
1、各个操作验证成功。
测试结果
通过
任务执行成功
任务停止成功
备注
测试截图：
3.1.3.扩容测试
用例名称
扩容测试
测试目的
测试扩容功能
预置条件
1）系统运行正常
2）系统中存在运行状态的主机
测试过程
预期结果
1.打开集群管理页面http:
//host:
8080/，输入用户名密码（默认admin/admin）
2.点击Hosts->Actions->AddNewHosts
3.根据提示输入主机名、选择主机在安装HDFS、YARN组件等
4.确认后，等待集群后台扩容。
1、集群扩容成功。
测试结果
未测试
备注
3.2.性能
3.2.1.HDFS性能测试
用例名称
HDFS读写性能测试
测试目的
使用hadoop提供的TestDFSIO工具，对集群进行写性能测试
预置条件
1）系统运行正常
2）系统中存在运行状态的主机
测试过程
预期结果
1.执行kinittest输入密码，完成用户认证。
2.进行hdfs写性能测试
hadoopjar/usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient-tests.jarTestDFSIO-write-nrFilesN-fileSizeSize
其中N指文件个数，Size指文件大小
3.进行hdfs读性能测试
hadoopjar/usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient-tests.jarTestDFSIO-read-nrFilesN-fileSizeSize
其中N指文件个数，Size指文件大小
4.进行hdfs同时读、写性能测试
5．启动多个MR进行读写性能测试
记录读写的性能测试结果
测试结果
完成
1.通过MR任务读取2.8GB数据，时间为32.446秒
2.通过MR任务写入128*3GB数据，时间为697秒
备注
读测试截图：
写测试截图：
3.2.2.YARN性能测试
用例名称
YARN性能测试
测试目的
测试YARN的性能。
预置条件
1）系统运行正常
2）系统中存在运行状态的主机
测试过程
预期结果
1.采用开源的程序randomtextwriter生成wordcount数据
hadoopjar/usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jarrandomtextwriter/tmp/test.txt
2.执行开源的wordcount程序
hadoopjar/usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jarwordcount-Dmapreduce.job.reduces=15/tmp/testword.txt/tmp/testresult.txt
记录MR任务执行的总时长
测试结果
1．测试MR任务并发执行性能，同时执行5个MR任务；
2．Wordcount任务读取数据量：
2.8GB
备注
测试截图：
3.3.高可用
3.3.1.HDFS高可用测试
用例名称
HDFS高可用测试
测试目的
当HDFS个别进程异常的时候，不影响集群的正常使用
预置条件
1）系统运行正常
测试过程
预期结果
1.执行kinittest输入密码，完成用户认证。
2.往HDFS上put一个大文件
3.停止一个NameNode，观察对写文件的影响
4.停止一个DataNode，观察对写文件的影响
文件可以正常put到HDFS上
测试结果
通过
1.停止一个NameNode，读写HDFS文件正常；
2.停止一个DataNode，读写HDFS文件正常。
备注
测试截图：
3.3.2.YARN高可用测试
用例名称
YARN进程高可用测试
测试目的
当YARN个别进程异常的时候，不影响集群的正常使用
预置条件
1）系统运行正常
测试过程
预期结果
1.执行kinittest输入密码，完成用户认证。
2.执行hadoop自带的测试程序TestDFSIO，提交一个长MR任务
hadoopjar/usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient-tests.jarTestDFSIO-write-nrFilesN-fileSizeSize
其中N指文件个数，Size指文件大小
3.停止一个ResourceManager，观察对MR任务的影响
4.停止一个NodeManager，观察MR任务的影响
MR任务可以正常执行
测试结果
通过
1.停止一个ResourceManager，MR任务正常运行；
2.停止一个NodeManager，MR任务正常运行。
备注
测试截图：
3.3.3.Kerberos高可用测试
用例名称
Kerberos高可用测试
测试目的
当一个Kerberosserver停止时，不影响集群的正常使用
预置条件
1）系统运行正常，Kerberos主备均正常运行。
测试过程
预期结果
1.在一台KerberosServer上执行［servicekrb5kdcstop］命令，停止Kerberos服务；
2.验证Kerberos登录；
3.执行HDFS功能测试及Yarn功能测试；
4.在主KerberosServer上添加Kerberos用户，在备KerberosServer上查看此用户是否已同步成功。
MR任务可以正常执行
测试结果
成功
备注
1、数据库无法同步
已解决原因：
同步脚本命令路径没有写全
2、停止其中一台kerberos服务，权限认证慢
已解决原因：
未设置kdc_timeout参数
升级会员 