Hadoop期中考试测试.docx

1、Hadoop期中考试测试Hadoop 期中考试1单项选择题每个 1.5 分，共 20 分1 Map reduce擅长哪个领域的计算A 。A.离线批处理B.DAG 计算C.流式计算D.实时计算2 关于Map Reduce理，下面说法错误的选项是D 。A.分为Map和Reduce两个阶段B.Map阶段由一系列Map任务组成C.Reduce阶段由一系列Reduce任务组成D.Map阶段与Reduce阶段没有任何依赖关系3 HDFS默认副本数是C 。A.1B.2C.3D.44不属于HDFS构组成局部是D 。A.NameNodeB.Secondary NameNodeC.DataNodeD.TaskTr

2、acker Hadoop MapReduce 1.0的组件 5关于 Block 和 Split 两个概念，下面说法错误的选项是 C A.Block是HDFS最小的数据存储单位B.Split 是MapReduce中最小的计算单元C.Block 是 Split 是一一对应关系 默认是一一对应的D.Block 和 Split 之间对应关系是任意的，可由用户控制6以下不属于Hadoop内核的组成局部的是C 。A.HDFSB.MapReduceC.HBaseD.YARN(7)不属于HBase中的术语的是(D )。A.ColumnB.Column FamilyC.Row KeyD.Meta( 8)下面关于

3、 Hive ，说法错误的选项是( A )。A.Hive支持所有标准SQL语法B.Tez 等Zookeeper 实例个数不可Hive底层采用的计算引擎是 Map Reduce(目前支持Spark、C.Hive提供的HQL语法，与传统SQL很类似D.Hive Server 可采用MySQL#储元数据信息( 9)通常而言，一个标准的生产环境(考虑本钱、效益等)中，能是( B )。A.3B.4C.5D.710Flume 的主要作用是 C A.数据处理和分析B.数据存储C.数据收集D.网络爬虫11HBase 支持多语言比方 C+、Python 等访问，为实现该功能，它采用的开源软 件是 C 。A.pro

4、tobufB.自定义网络协议C.thriftD.avro12关于HDF番口 HBase说法错误的选项是D 。A.HDFS不能随机读写，HBase可以B.HDFS适合存储大文件，HBase可以存储小文件C.HBase底层采用了 HDFSD.HDFS和HBase无直接关系(13)YARF和 Map Reduct勺关系是(A )。A.MapReduce是一个计算框架，可运行在 YARN之上B.YARN是 一个计算框架，可运行在 Map Reduce之上C.Map Reduce和 YARNS 直接关系D.以上答复均不正确 14关于MapReduce的数据本地性，下面方法正确的选项是 AB 。A.Map

5、 Task和Reduce Task都会考虑数据本地性B.只有Map Task会考虑数据本地性Reduce阶段是从Map阶段拉取Shuffle数据的C.只有Reduce Task会考虑数据本地性D.Map Task和Reduce Task都不考虑数据本地性15与Hive相比，Presto主要优势是C 。A.利用MapReduce进行分布式计算，更加高效B完全分布式计算，可以充分利用集群资源C.MPP架构，全内存计算D.有很强的容错性16下面哪种存储格式是Hive中常用的列式存储格式D A.Text FileB.Seque nee FileC.ParquetD.ORC 17下面哪个信息不会存储在

6、HBase的一个cell EC 。A.row keyB.colu mn family 名称C.表名D.列名E.版本号F.cell 值数据存储冗余，非常消耗空间map task18默认情况下，一个 Map Reduce作业处理的数据 HDFS上的一个目录个数是由B 决定的。A.目录中文件个数B.目录对应的block数目C.默认个数是1D.用户自己指定HDFS Block默认大小为128MB一个Block文件只能来自于一个文件。查看一个文件有多少个 Block 的命令：hdfs fsck /input - files - blocks -locations19 Hive 和 Presto 支持标准

7、 SQL吗？ B D A.都支持B.都不支持C.Hive 支持，Presto不支持D.Hive 不支持，Presto支持20 既然有了 Hive，还需要用MapReduce编写程序处理数据吗？ B A.不需要Bg- 需要2 多项选择题每个4分，共20分1 关于HDFS说法正确的选项是ABC A.不存在NameNod单点故障问题B.个集群可存在多个NameNod对外提供效劳C.HDFS H/和Federation是它的两大特色D.不能存储小文件2 关于Kafka，说法正确的选项是BCD A.是一个分布式key/value存储系统B.由 producer、broker 和 consumer等角色构

8、成C.通过zookeeper进行效劳协调D.消息可以存成多个副本以到达容错的目标3 关于Map Reduce说法正确的选项是ACD A.MapReduce具有容错性，一台节点挂掉不会导致整个应用程序运行失败B.所有 Map Reduct 序公用一个 Applicati onM asterC.Map Reduces序可以运行在 YARN之上也可以运行在本地D.Map Reduce是 Hive默认的计算引擎4 用户可使用哪几种语言开发 MapReduce应用程序ABCD A. C+B.JavaC.PHPD.Go5下面哪几个属于YARN自带的资源调度器BCD A Deadline Scheduler

9、BFIFO 先进先出C Capacity Scheduler 容错调度系统DFair Scheduler 公平调度系统3简答题每个 5 分，共 10 分1，步骤1描述MapReduce乍业从提交到YARN上，到运行结束的整个过程，请用步骤2,，描述。答：步骤 1，客户端提交请求到 Yarn 的 ResourceManager步骤2, RM确定一个AppMaster步骤 3, AppMaster 向 RM申请 NodeManager步骤4, AppMaster将Task发送给NodeManage仅限执行步骤5, AppMaster负责收集NodeManage的运行结果步骤 6，AppMaster

10、 将结果返回给客户端 2 试描述如何对 Hadoop Streaming 程序进行调试？并举出一个例子 答：？单机运行，本地测试： 1.txt ：cat ，管道输入Mapper， sort 3 试写出以下操作的 shell 命令：1 在 HDFSt创立目录 /home/test答：hdfs dfs -mkdir /homehdfs dfs -mkdir /home/test或hdfs dfs -mkdir -p /home/test2 将正在运行的 ID 为的应用程序杀死答：3 查看 HDFSt文件 /home/test/1.txt 的大小答：hdfs dfs -ls /home/test/1

11、.txt4在 Hive 中创立一个 parquet 表，采用 gzip 压缩格式，该表名为 test ，包含两列：int类型名为id的列和string 类型名为namename勺列。如何在 Presto中创立这个表，有何不同？答：create table if not exists testid int,namename stringgzipstored as parquet;4编程题 40 分 1有一批文件，格式如下：每行有 4列，每一列均是一个整数，列之间采用“ . 作为分隔符，将数据按照第二列和第 三列分组，每组中第四列所有数之和。注：如果第二列相同，那么按照第三列分组，比方上 述结果为

12、：12.1 314.2 511.4 1结果中， key 为“第二列和第三列值， value 是对应的第四列累加和， key 和 value 之间 使用 t 分割。要求：使用任意语言实现以上功能，写出 Mapper和Reducer，并给出相应的作业提交命令(或脚本)。答：(根据WordCount实例进行改造)Mapper:String values = value.toString().split( “ . );Text outputKey = new Text( values1+ . +values2 );IntWritable outputValue = new IntWritable(Integer.parsetInt(values3);Context.write(outputKey, outputValue);Reducer:无需调整(2)编写Map Reduces序实现以下功能：1)在 Kafka 上创立 topic，名为“ aura，包含 5 个 partition 2编写 producer ，将 1100000 依次写入该 topic ，每个数字作为一条消息写入3 用Java语言实现一个consumer,读取aura中的数据，并写入到 HDFS的/data/aura 目录下4 如何使用 MapReduc实现3中的功能？