大数据实验报告.docx
《大数据实验报告.docx》由会员分享，可在线阅读，更多相关《大数据实验报告.docx（18页珍藏版）》请在冰豆网上搜索。
大数据实验报告
课程实验报告
专业年级14级软件工程
课程名称大数据技术原理与应用
指导教师李均涛
学生姓名吴勇
学号
实验日期.05.04
实验地点笃行楼B栋301
实验成绩
教务处制
03月09日
试验项目
名称
Liunx基础操作
试验
目及要求
1.了解Liunx操作系统发展历史。
2.学习Liunx操作系统基础概念及操作。
3.学习Liunx操作系统用户及文件权限管理。
4.Linux目录结构及文件基础操作。
试验
内容
1.试验楼环境介绍,常见Shell命令及快捷键,Linux使用小技巧。
2.Linux中创建、删除用户,及用户组等操作。
Linux汉字件权限设置。
3.Linux文件组织目录结构,相对路径和绝对路径,对文件移动、复制、重命名、编辑等操作。
试验步骤
1.Liunx输入输出命令。
2.使用touch命令创建文件夹,后缀都为txt。
3.学会在命令行中获取帮助。
4.输出图形字符。
5.查看用户。
6.创建新用户。
7.删除用户。
8.查看文件权限。
9.用ls–A/Al/dl/AsSh查看文件。
10.变更文件全部者。
11.修改文件权限。
12.目录路径。
13.新建空白文件。
14.文件复制、删除、移动、重命名。
试验环境
Liunx操作系统
试验结果与
分析
经过学习Liunx操作系统发展历史、基础操作、用户及文件权限管理以及Linux目录结构及文件基础操作。
是得我大致了解Liunx操作系统使用,而且能够完成对应练习。
老师评语
注:
可依据实际情况加页
课程实验报告
专业年级14级软件工程
课程名称大数据技术原理与应用
指导教师李均涛
学生姓名吴勇
学号
实验日期.05.04
实验地点笃行楼B栋301
实验成绩
教务处制
03月09日
试验项目
名称
Hadoop基础操作
试验
目及要求
1.Hadoop单机模式安装.
2.Hadoop伪分布模式配置布署.
3.Hadoop介绍及1.X伪分布式安装.
4.adoop2.X64位编译.
5.Hadoop2.X64位环境搭建.
试验
内容
1.hadoop三种安装模式介绍,hadoop单机模式安装,测试安装
2.hadoop配置文件介绍及修改,hdfs格式化,开启hadoop进程,验证安装.
3.Hadoop1.X伪分布安装,Hadoop介绍,Hadoop变量配置.
4.Hadoop2.X64位编译,编译Hadoop2.X64位,编译Hadoop.
5.搭建环境,布署Hadooop2.X,开启Hadoop.
试验步骤
1.用户及用户组,添加用户及用户组,添加sudo权限.
2.安装及配置依靠软件包,安装openssh-server、java、rsync等,配置ssh免密码登录.
3.下载并安装Hadoop,下载Hadoop2.6.0,解压并安装,配置Hadoop.
4.测试验证.
5.相关配置文件修改:
修改core-site.xml:
6.格式化HDFS文件系统.
7.Hadoop集群开启.
8.测试验证.
9.设置Host映射文件.
10.下载并解压hadoop安装包
11.在Hadoop-1.1.2目录下创建子目录.
12.开启hadoop.
13.编译Hadoop2.X64位.
14.使用yum安装sun.
15.布署Hadooop2.X.与Hadoop1.X类似。
试验环境
hadoopXfce终端
试验结果与
分析
经过此次试验,让我对Hadoop有所了解,不过在试验过程中出现很多问题。
比如,不知道该怎样下载javajdk,甚至怎样创建文件夹目录下文件,以及Hadoop环境配置原理以及编译原理和方法。
这些都是试验中出现问题,不过经过自己查询,问同学,部分问题已经得四处理,不过还存在一部分就只能经过课后自学进行处理!
!
!
经过上述学习,让我对Hadoop基础操作有了基础掌握,包含Hadoop介绍及1.X伪分布式安装,adoop2.X64位编译,Hadoop2.X64位环境搭建等。
老师评语
注:
可依据实际情况加页
课程实验报告
专业年级14级软件工程
课程名称大数据技术原理与应用
指导教师李均涛
学生姓名吴勇
学号
实验日期.06.01
实验地点笃行楼B栋301
实验成绩
教务处制
03月09日
试验项目
名称
HDFS和MapReduce
试验
目及要求
1.HDFS原理及操作。
2.MapReduce原理及操作。
试验
内容
1.HDFS原理及操作。
环境说明,HDFS原理,HDFS架构,HDFS读操作,HDFS写操作,测试例子
2．MapReduce原理及操作。
环境说明,MapReduce原理,Map过程,Reduce过程,测试例子
试验步骤
1.HDFS原理及操作。
1.1环境说明。
虚拟机操作系统:
CentOS6.664位,单核,1G内存
JDK:
1.7.0_5564位
Hadoop:
1.1.2
1.2HDFS原理。
HDFS（HadoopDistributedFileSystem）是一个分布式文件系统,是谷歌GFS山寨版本。
它含有高容错性并提供了高吞吐量数据访问,非常适合大规模数据集上应用,它提供了一个高度容错性和高吞吐量海量数据存放处理方案。
1.3HDFS架构。
HDFS是Master和Slave结构,分为NameNode、SecondaryNameNode和DataNode三种角色。
1.4HDFS读操作。
用户端经过调用FileSystem对象open（）方法来打开期望读取文件。
1.5HDFS写操作。
用户端经过调用DistributedFileSystemcreate（）方法创建新文件。
1.6测试例子1。
1.创建代码目录
2.建立例子文件上传到HDFS中
3.配置当地环境
4.编写代码
5.编译代码
6.使用编译代码读取HDFS文件
2.MapReduce原理及操作。
2.1环境说明。
虚拟机操作系统:
CentOS6.664位,单核,1G内存
JDK:
1.7.0_5564位
Hadoop:
1.1.2
2.2MapReduce原理。
Map和Reduce。
当你向MapReduce框架提交一个计算作业时,它会首先把计算作业拆分成若干个Map任务,然后分配到不一样节点上去实施,每一个Map任务处理输入数据中一部分,当Map任务完成后,它会生成部分中间文件,这些中间文件将会作为Reduce任务输入数据。
Reduce任务关键目标就是把前面若干个Map输出汇总到一起并输出。
2.3Map过程。
每个输入分片会让一个map任务来处理,默认情况下,以HDFS一个块大小（默认为64M）为一个分片,当然我们也能够设置块大小。
map输出结果会暂且放在一个环形内存缓冲区中（该缓冲区大小默认为100M,由io.sort.mb属性控制）,当该缓冲区快要溢出时（默认为缓冲区大小80%,由io.sort.spill.percent属性控制）,会在当地文件系统中创建一个溢出文件,将该缓冲区中数据写入这个文件。
2.4Reduce过程。
Reduce会接收到不一样map任务传来数据,而且每个map传来数据都是有序。
假如reduce端接收数据量相当小,则直接存放在内存中（缓冲区大小由mapred.job.shuffle.input.buffer.percent属性控制,表示用作此用途堆空间百分比）,假如数据量超出了该缓冲区大小一定百分比（由mapred.job.shuffle.merge.percent决定）,则对数据合并后溢写到磁盘中。
2.5测试例子。
1．编写代码。
2.编译代码。
3.打包编译文件。
4.解压气象数据并上传到HDFS中。
5.运行程序。
6.查看结果。
试验环境
虚拟机操作系统:
CentOS6.664位,单核,1G内存
JDK:
1.7.0_5564位
Hadoop:
1.1.2
试验结果与
分析
试验分析:
经过学习HDFS和MapReduce,了解其原理及操作,不过在试验过程中碰到很多问题,比如无法开启Hadoop、无法连接到Hadoop等问题,经过自己请教老师、同学以及网上自己动手查阅资料得以处理。
明白其工作原理,从而深入了解到Hadoop运行机制与操作,愈加了解大数据。
老师评语
注:
可依据实际情况加页
升级会员 