1、Hadoop伪分布安装详解二操作1、修改主机名和用户名第一步:改本地为neusoft-master,修改主机名第二步:为了使Hadoop节点之间能互相访问,改默认为192.168.191.130 neusoft-master第三步:centos修改主机名执行useradd hadoop 添加以Hadoop为用户名的用户,执行passwd hadoop修改用户的密码2、配置静态IP地址第四步:vi /etc/sysconfig/network-scripts/ifcfg-eth0或图形界面配置:点击设置rootneusoft-master # vi /etc/sysconfig/network-
2、scripts/ifcfg-eth0DEVICE=eth0TYPE=EthernetUUID=02eb9342-c828-49a5-9e23-64e8c2d5e05eONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.191.130NETMASK=255.255.255.0GATEWAY=192.168.191.2PREFIX=24DNS1=8.8.8.8HWADDR=00:50:56:2C:72:E9DEFROUTE=yesIPV4_FAILURE_FATAL=yesIPV6INIT=noNAME=System eth0LAST
3、_CONNECT=14828518173、配置SSH无密码连接目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop*1.修改主机名和用户名 修改主机名:Centos中通过vi /etc/sysconfig/network 修改HOSTNAME= 为了使Hadoop节点之间能互相访问,需要修改hosts文件,root用户执行并且所有节点均需执行 vi /etc/hosts centos修改主机名执行useradd hadoop 添加以Hadoop为用
4、户名的用户,执行passwd hadoop修改用户的密码2.配置静态IP地址 rootneusoft-master # vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0TYPE=EthernetUUID=02eb9342-c828-49a5-9e23-64e8c2d5e05eONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.191.130NETMASK=255.255.255.0GATEWAY=192.168.191.2PREFIX=24DNS1=8.8.8.8HWA
5、DDR=00:50:56:2C:72:E9DEFROUTE=yesIPV4_FAILURE_FATAL=yesIPV6INIT=noNAME=System eth0LAST_CONNECT=1482851817 注意:如果多台虚拟机复制会有问题,我罗列了遇到的问题,如果没有图形界面网络配置更简单,如果沒有問題請跳过 方法1:利用图形界面解决 (1)图形界面找见图标,编辑 (2)删除所有网络 (3)根据虚拟机配置ip,网管等 解决 Error:No suitable device found: no device found for connection System eth0 注意:VM的虚拟
6、网卡VMnet8一定需要在windows操作系统的网络中开启,同时在虚拟机中配置正确的子网掩码及网关存在的问题点1: windows上的网络配置 存在的问题点2: VM软件配置 方法2:问题复述: 复制好的虚拟机,启动登陆进去(用户名和密码跟之前那台是一样的),修改好IPADDR,然后网卡重启出现问题? #service network restart 出现问题:Error:No suitable device found: no device found for connection System eth0 如图所示: #ifup eth0 出现: eth0: unknown interfa
7、ce: No such device 这样的问题,网卡都启动不了,出现问题. 解决: (1)我们在界面点击Network Adapter Remove删除网卡,如图所示: (2)添加一个新的网卡,就是点击add,这时跟前面一台的MAC Address 就不一样,如图所示: (3)复制地址 (4)重新启动虚拟机,然后进入到/etc/udev/rules.d/目录#cat 70-persistent-net.rules里面的信息跟我们Network Adapter的MAC Address地址一样,如图所示: (5)进入/etc/sysconfig/network-scripts/目录 #vi if
8、cfg-eth0 把HWADDR修改成Network Adapter的MAC Address地址一样,如图所示: (6)重启网卡,这时就能正常启动,如图所示: 3.配置SSH无密码连接 在Centos中首先关闭防火墙 service iptables stop 查看防火墙:chkconfig iptables off (1)检查ssh是否安装 yum install ssh yum install rsync #远程同步数据的工具 (2)启动SSH服务命令 service sshd restart 检查SSH是否已经安装成功 rpm -qa | grep openssh rpm -qa | g
9、rep rsync 出现相应信息即可 (3)生成SSH公钥 对于伪分布式环境只需要本机链接本机即可: 主节点执行:ssh-keygen -t rsa一路回车即可,最后显示的图形是公钥的指纹加密。 生成公钥后需要将公钥发到本机的authorized_keys的列表,执行: ssh-copy-id -i /.ssh/id_rsa.pub rootneusoft-master 或ssh-copy-id -i /.ssh/id_rsa.pub neusoft-master(主机名) 也可以使用cat命令复制公钥到authorized_keys中,cat/.ssh/id_rsa.pub /.ssh/au
10、thorized_keys 如果是多机器需要需要通过scp命令赋值到主节点中,在分发至子节点。 (4)检查是否可以无密码ping通:使用”ssh 主机名”的方式验证 这里使用的是 ssh neusoft-master 无密码输入的提示,则安装成功。 如果执行上述步骤仍然不成功,有可能是/.ssh 文件夹权限问题。执行如下程序 chmod 700 /.ssh chmod 644 /.ssh/authorized_keys3.安装JDK (1)通过java主页下载jdk1.7.x版本,使用SecureCRT上传到Centos中 (2)卸载原来的openjdk rpm -qa |grep jdk 如
11、果出现openjdk就需要卸载 使用yum -y remove xxx,其中xxx为刚才rpm -qa |grep jdk的结果 (3)方法1利用tar包安装JDK 解压tar文件 tar -zxvf jdk-7u80-linux-x64.tar.gz 配置环境变量 vi/etc/profileexport JAVA_HOME=/opt/jdk1.7.0_80 或/usr/java/default #根據书记情况改写export PATH=$PATH:$JAVA_HOME/bin 立马生效 source /etc/profile 验证安装 ,如下java -version (4)方法2利用rp
12、m包安装JDK 如果是rpm文件只需要执行以下命令: rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm(使用该文件方便) cd /usr/java/ ls ln -s jdk1.7.0-cloudera lastest ln -s /usr/java/lastest default ls -l #环境变量配置参考如下 配置环境变量 vi/etc/profile 修改如下: export JAVA_HOME=/opt/jdk1.7.0_80 或/usr/java/default #根據书记情况改写export PATH=$PATH:$JAVA_HOME/bin 如下图所示: 立马生效 source /etc/profile 验证安装 ,如下java -version
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1