HCNABigData培训教材V20课后习题及答案.docx
《HCNABigData培训教材V20课后习题及答案.docx》由会员分享，可在线阅读，更多相关《HCNABigData培训教材V20课后习题及答案.docx（15页珍藏版）》请在冰豆网上搜索。
HCNABigData培训教材V20课后习题及答案
大数据行业与技术趋势
1.大数据从什么地方来？
这些数据有哪些特点？
2.大数据可以应用在哪些社会领域？
政治、金融、教育、出行、旅游、政府公共安全、交通规划、体育等。
3.华为大数据解决方案叫什么？
FusionInsight
HDFS技术原理
1.HDFS是什么，适合于做什么？
HDFS是Hadoop技术框架中的分布式文件系统，对部署在多台独立物理机器上的文件进行管理。
2.HDFS包含哪些角色？
Client、NameNode、Datanodes
3.请简述HDFS的读写流程。
写的时候写了三副本
读的时候只读了一次
MapReduce和YARN技术原理
1.请简述MapReduce的工作原理。
总结：
MapReduce阶段分为Map阶段和Reduce阶段
Map阶段分为1.分区2.排序3.组合4.合并四个过程
Map阶段的输出结果就是Reduce阶段的输入。
Map阶段输出的中间结果存在磁盘当中（先放在环形缓冲区当中，缓冲区满了刷入磁盘中）。
Reduce从磁盘中读出中间数据进行下一步计算。
Reduce阶段分为1.copy2.Merge3.Reduce三个过程
2.请简述YARN的工作原理
总结（八步）：
1.应用提交到RecourseManager上
2.RecourseManager为该应用分配第一个container并且与这个container所对应的NodeManager通信，要求它在这个container中启动应用程序的ApplicationMaster（也就是选举出一个AppMaster）
3.ApplicationMaster首先向RecourseManager进行注册，这样用户可以通过RecourseManager查看程序的运行程序的运行状态
4.AppMaster为它所要进行的任务申请资源，并且监控分配给他的这些container的运行状态。
5.ApplicationMaster申请到资源后，与对应的NodeManager通信，要求它启动任务。
6．NodeManager为任务设置好运行环境，后将任务启动命令写到一个脚本中，通过运行该脚本启动任务
7.各个container通过rpc协议向ApplicationMaster汇报自己状态和进度，让ApplicationMaster随时掌握任务的运行进度和状态，从而可以在任务运行失败时重启该任务。
（用户可以通过rpc协议向ApplicationMaster查询应用程序运行的当前状态）
8.应用程序运行完后，ApplicationMaster向RecourseManager注销并关闭自己。
ABD
C
B
ABCD
Spark2x技术原理
1.Spark的特点有哪些？
2.Spark相对于MR的优势是什么？
Spark比MapReduce的计算速率要快
3.Spark宽依赖窄依赖的区别是什么？
窄依赖：
RDD的每个分区仅依赖一个父RDD的分区；
宽依赖：
RDD的每个分区依赖多个父RDD的分区；
4.Spark的应用场景有哪些？
1.TransformationAction
2.RDD
3.宽依赖窄依赖
HBase技术原理
1.HBase的Region在split时可以提供服务吗？
被分裂的region会暂停读写服务，其他region正常
2.HBase的Regionsplit有何好处？
负载均衡。
A
A
Hive技术原理
BCD
D
Streaming技术原理
Streaming是如何保障消息可靠性？
通过设置Ack保障可靠性
ABCD
B
Flink技术原理
1.Flink的特点有哪些？
2.Flink的常用窗口类型有哪些?
TumblingWindows
SlidingWindows
SessionWindows
Loader技术原理
F
F
AB
B
Flume技术原理
1.Flume是什么，可以用来干什么？
2.Flume有哪些关键特性？
Flunme支持级联，可以对数据进行简单的清洗，它有很好的传输数据的可靠性，在不同Flume之间传输数据的时候支持压缩和加密，保证传输的速率和可靠性。
3.Source/Channel/Sink分别有什么作用？
Source用来采集数据
Channel用来缓存数据
Sink用来把数据放到目的地
T
Kafka技术原理
ABC
B
1.Kafka是如何保证数据可靠的？
2.通过kafka客户端提供的Shell命令可以对Topic进行哪些操作？
Createdeletelistdescribe等操作
ZooKeeper集群分布式协调服务
1.ZooKeeper在集群中的位置及作用是什么？
它是FusionInsightHD的底层组件
提供分布式、高可用性的协调服务能力
2.ZooKeeper为什么建议奇数部署？
因为奇数部署和偶数部署的容灾能力一样
偶数部署时，成为leader的节点需要获得更多的票数。
3.ZooKeeper一致性的含义是什么？
FusionInsightHD解决方案介绍
1.FusionInsightHD有哪些特性？
1.系统可靠性，数据可靠性
2.安全性
3.网络安全可靠---双平面组网
4.可视化集群管理，运维便捷
5.图形化的健康巡检工具
6.易开发
2.Hive/HBase细粒度加密支持哪些加密算法？
3.HDFS中存海量小文件会给NameNode带来极大的压力；HBase存海量小文件，Compacion会带来IO资源浪费。
针对这种现象时有什么技术解决？
HFS方案
4.日志级别调整有哪些级别？
TRACEDEBUGINFOWARNERROROFF
T
T
ABCD
最后一章关注问题与解决方法
升级会员 