虚拟机环境下Hadoop伪分布式平台搭建详细过程.pdf

虚拟机环境下Hadoop伪分布式平台搭建详细过程.pdf

《虚拟机环境下Hadoop伪分布式平台搭建详细过程.pdf》由会员分享，可在线阅读，更多相关《虚拟机环境下Hadoop伪分布式平台搭建详细过程.pdf（11页珍藏版）》请在冰豆网上搜索。

大数据技术大数据技术平台搭建之平台搭建之HadoopHadoop1.1.Hadoop（Hadoop（伪分布式伪分布式）平台平台搭建搭建详细过程详细过程1.11.1工具工具VMware12CentOS6.4JDK-6u24-Linux-i586.binHadoop-1.1.2.tar.gzScala-2.9.3.tgzSpark-1.4.0-bin-hadoop1.tgzWin10系统环境1.21.2详细搭建过程详细搭建过程1.2.11.2.1安装虚拟机安装虚拟机VMwareVMwareWWorkstationorkstation12Pro12Pro图1.1VMwareWorkstation12Pro软件开始界面1.2.21.2.2在虚拟机环境上安装在虚拟机环境上安装LinuxLinux系统系统

（1）点击创建新的虚拟机按钮选择典型配置安装图1.2新建虚拟机向导

（2）选择Linux镜像文件，开始虚拟安装图1.3选择安装镜像文件（3）为新建的虚拟机命名，并选择安装目录图1.4命名、选择安装目录（4）指定虚拟机磁盘大小图1.5指定磁盘大小（5）设置硬件、网络类型等虚拟机配置图1.6自定义虚拟机硬件（6）点击完成按钮完成虚拟机安装图1.7CentOS_Linux虚拟机系统安装成功1.2.1.2.33配置配置LinuxLinux环境，为安装环境，为安装HadoopHadoop做准备做准备

（1）关闭防火墙执行命令serviceiptablesstatus可以查看防火墙状态执行命令serviceiptablesstop关闭防火墙图1.8关闭防火墙并检验执行命令chkconfigiptablesoff，关闭防火墙某些功能自启动图1.9关闭防火墙自启功能并检验

（2）设置网络连接宿主机（Windows）和客户机（虚拟机中的Linux）采用host-only方式建立网络连接，具体步骤：

右击桌面右上角网络连接图标，选择编辑网络连接，如下图1.10虚拟机网络设置窗口接着点击按钮，设置IPv4地址，注意要和主机IP在同一网段192.168.80.X图1.11设置ip窗口点击Apply完成设置，并在虚拟机终端窗口输入servicenetworkrestart，使设置生效图1.12在终端窗口执行命令使设置生效输入ifconfig查看设置是否生效图1.13在终端窗口检验设置是否生效修改主机网络设置，打开网络共享中心将以下两个适配器的地址设置为192.168.80网段。

图1.14Windows网络适配器窗口检验：

主机（Windows）ping客户机（linux）IP图1.15ping检验窗口（3）修改hostname由于设置好了主机和客户机之间的网络连接，我们可以使用工具PieTTY在Windows环境下就可以快捷登录虚拟机，对其配置进行修改，如下面来修改虚拟机的hostname为hadoop：

图1.16修改hostname指令（4）执行vi/etc/hosts,在打开的文件中添加ip和主机名，绑定Linux虚拟机的主机名和ip图1.17绑定ip指令（5）设置SSH自动登录执行命令ssh-keygentrsa产生秘钥,位于/.ssh文件夹下面图1.18产生加密的秘钥执行命令cp/.ssh/id_rsa.pub/.ssh/authorized_keys图1.19复制到authorized_keys文件下验证，输入sshlocalhost图1.20验证免密登录结果（6）安装JDK拷贝（借助winSCP软件实现主机和虚拟机之间文件共享）安装文件至虚拟机/usr/local目录下，并解压（命令：

./jdk-6u24-linux-i586.bin）：

图1.21拷贝并解压JDK安装文件解压完成：

图1.22解压后的/usr/local目录配置JDK环境变量：

执行命令vi/etc/profile打开配置文件加入JAVA_HOMEPATH两个环境变量JAVA_HOMEJAVA_HOME=/usr/local/jdk;PATHPATH=.:

$JAVA_HOME/bin:

$PATH图1.23配置JDK环境变量执行source/etc/profile使配置生效，并检验。

图1.24检验JDK环境变量配置成功1.2.1.2.44安装安装HadoopHadoop执行命令tar-zxvfhadoop-1.1.2.tar.gz进行解压缩hadoop安装包，并执行命令mvhadoop-1.1.2hadoop重命名文件夹图1.25解压缩并重命名hadoop安装文件配置hadoop环境变量，执行vi/etc/profile打开配置文件，并添加HADOOP_HOME和PATH：

图1.26配置hadoop环境变量执行命令source/etc/profile使配置生效。

修改四个hadoop配置文件，位于$HADOOP_HOME/conf目录下（利用winSCP软件直接打开对应文件进行修改），分别是：

hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml如下：

hadoop-env.shexportJAVA_HOME=/usr/local/jdk/exportJAVA_HOME=/usr/local/jdk/图1.27修改hadoop-env.sh配置文件core-site.xmlfs.default.namefs.default.namehdfs:

/hadoop0:

9000hdfs:

/hadoop0:

9000changeyourownhostnamechangeyourownhostnamehadoop.tmp.dirhadoop.tmp.dir/usr/local/hadoop/tmp/usr/local/hadoop/tmp图1.28修改core-site.xml配置文件hdfs-site.xmldfs.replicationdfs.replication11dfs.permissionsdfs.permissionsfalsefalse图1.29修改hdfs-site.xml配置文件mapred-site.xmlmapred.job.trackermapred.job.trackerhadoop0:

9001hadoop0:

9001changeyourownhostname图1.30修改mapred-site.xml配置文件接下来，对hadoop进行格式化，执行命令：

hadoopnamenode-format图1.31hadoop格式化成功执行命令start-all.sh启动hadoop图1.32完全启动hadoop，并检验java进程（5个）注：

注：

hadoophadoop启动的启动的几种几种方式方式start-all.sh启动所有的Hadoop守护进程。

（包括NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTrack）stop-all.sh停止所有的Hadoop守护进程。

start-dfs.sh启动HadoopHDFS守护进程NameNode、SecondaryNameNode和DataNodestop-dfs.sh停止HadoopHDFS守护进程NameNode、SecondaryNameNode和DataNodehadoop-daemons.shstartnamenode单独启动NameNode守护进程hadoop-daemons.shstopnamenode单独停止NameNode守护进程hadoop-daemons.shstartdatanode单独启动DataNode守护进程hadoop-daemons.shstopdatanode单独停止DataNode守护进程hadoop-daemons.shstartsecondarynamenode单独启动SecondaryNameNode守护进程hadoop-daemons.shstopsecondarynamenode单独停止SecondaryNameNode守护进程start-mapred.sh启动HadoopMapReduce守护进程JobTracker和TaskTrackerstop-mapred.sh停止HadoopMapReduce守护进程JobTracker和TaskTrackerhadoop-daemons.shstartjobtracker单独启动JobTracker守护进程hadoop-daemons.shstopjobtracker单独停止JobTracker守护进程hadoop-daemons.shstarttasktracker单独启动TaskTracker守护进程hadoop-daemons.shstoptasktracker单独启动TaskTracker守护进程至此，hadoop伪分布式平台就已经搭建完成了，我们可以在web浏览器查看访问该平台下的服务器节点：

图1.33浏览器访问NameNodewebservices节点图1.34浏览器访问MapReducewebservices节点