史上最详细的大数据安装.docx
《史上最详细的大数据安装.docx》由会员分享，可在线阅读，更多相关《史上最详细的大数据安装.docx（43页珍藏版）》请在冰豆网上搜索。
史上最详细的大数据安装
hadoop安装
1.准备虚拟机：
1.1.安装虚拟机：
（模拟真实的linux环境）
1.1.1.新建
1.1.2.填写信息，点击下一步
注意：
如果看不到
，表示虚拟化没开启，需要按照下面步骤开启虚拟化。
1）重启机器
2）根据机器左下角提示，按f2进入bios
3）按左右的按钮选择BIOS
4）找到intelvirtualtecnoligy
5）由disable改成ENABLED。
6）重启。
1.1.3.输入1024（内存），因为1024可以图形化界面安装。
下一步
1.1.4.选择创建，创建虚拟硬盘
1.1.5.选择硬盘文件类型，点击下一步
1.1.6.选择动态分配，点击下一步
1.1.7.输入大小，这里的20G不会真实的分配20G，是动态扩展，点击创建结束
到此，虚拟机创建完毕。
1.1.8.选择虚拟机，点击设置
1.1.9.常规-高级，虚拟机备份位置
1.1.10.显示-48M，大一点，否则安装虚拟机的时候会有点卡
1.1.11.存储，选择镜像文件
1.1.12.点击
，选择一个虚拟光盘
1.1.13.网卡1、2
网卡1：
对应linux中的eth0.
启用网络连接：
选择勾上。
连接方式：
桥接
界面名称：
选择网卡信息（可以使本地连接或者无线，在“更改适配器”中能看到名字对应哪个网卡）
混杂模式：
全部允许。
接入网线：
选择勾上
网卡2：
对应linux中的eth1.
启用网络连接：
选择勾上。
连接方式：
仅Host-only。
界面名称：
虚拟网卡的驱动（注意：
如果什么都没有，说明你的虚拟网卡没有打开，去“更改适配器”中将禁用的网卡打开）
混杂模式：
全部允许。
接入网线：
选择勾上
1.1.14.点击确认，虚拟机设置完毕。
1.1.15.点击启动
注意：
如果启动的时候报错：
centos：
onlyfori686，说明你机器的虚拟技术没开启，按照上面1.1.2的说明修改bios。
1.1.16.选择第一项，通过镜像安装
1.1.17.测试media，按tab选择，选择跳过
1.1.18.选择next
1.1.19.选择中文简体，那么接下来的安装过程中为中文，next
1.1.20.选择系统语言，next
1.1.21.选择“是，忽略所有数据”
1.1.22.输入主机名
主机名：
linux机器的名字。
比如，你要安装的这台机器是master，你就可以将主机名命名为master，如果是slave1，就可以是slave1，以此类推。
不要按照下图的输入，自己命名。
注意：
输入完主机名后，不要点击下一步，要先设置网络。
1.1.23.配置网络，点击“配置网络”
1.1.24.双击Systemeth0，
1、“自动连接”勾上
2、选择“ipv4设置”
3、查看是否是“自动（DHCP）”，如果是，点击“应用”即可。
1.1.25.双击eth1
1、“自动连接”勾上
2、选择“ipv4设置”
3、在“方法”中将“自动连接（DHCP）”改为手动。
4、点击添加。
5、在“地址”：
中输入“192.168.56.xxx”，因为你的虚拟网卡的网段是“192.168.56.xxx”，所以你只需要将xxx配制成你想设置的ip即可。
这个ip用来客户端工具连接使用。
6、在“子网掩码”中输入“255.255.255.0”。
7、其他的不用设置，点击应用即可。
25、点击网络的关闭，就会出现下面的图，然后下一步，可能活等一会，或者报错，说，eth0有错误，跳过即可，因为你可能连接不上网络。
1.1.26.选择上海时区，点击下一步
1.1.27.为root用户创建密码（密码可以自定义，最小6位）：
hadoop
1.1.28.选择“替换现有的linux”点击下一步
1.1.29.选择“basicserver”，选择下一步
1.1.30.进入安装过程
1.1.31.安装完成，重新引导
1.1.32.启动系统
1.1.33.输入用户名密码root、hadoop进入系统
1.1.34.ifconfig，查看网卡信息，并ping查看是否能连接外网
1.1.35.虚拟机安装成功，将虚拟机停止
关机命令：
shutdown–hnow
或者
直接点x，正常关闭，不要强制退出。
1.1.36.修改虚拟机的参数
比如：
内存、显存
修改过后，启动机器，占用资源就会变小。
1.1.37.按照上述1.1.1---1.1.36步骤安装集群中的其他机器。
1.1.38.虚拟机安装成功。
可以安装系统软件,时间较长，可以选择需要的时候在安装。
安装的时候用户为root。
yum-yinstalllrzsz（上传下载的命令，比如在linux客户端中输入rz就可以上传，如果不安装，可以用客户端工具上传下载，并不影响使用）
yum-yupdate（将系统升级，会升级到最新系统，但是非常慢）
yum-yinstallgcc（安装c和c++的一些包）
yum-yinstallgccmake（安装c和c++的一些包）
yum-yinstallkernel（安装内核组件，如果机器已经存在内和组件，此命令会将其升级）
yum-yinstallkernel-devel（安装内核组件，如果机器已经存在内和组件，此命令会将其升级）
yum–yinstallnc（zookeeper的命令依赖）
2.使用客户端工具链接虚拟机操作
2.1.有两个工具
：
SecureSRT：
命令行工具。
WinSCP:
上传下载工具。
2.2.使用方法
1、双击
进入命令行工具
2、如果已经过期，在文件最下方，有个说明文件
，按照文件中的信息，输入破解信息即可。
3、点击下面标红的按钮
4、在弹出的窗口中再点击下面的按钮
5、在下面的弹出框中选择下一步
6、在下图中输入信息如下
7、在下图中选择scp，点击下一步
8、填写会话名称
9、找到你的会话，双击即可
10、输入用户root的密码，即可连接
3.关闭防火墙
防火墙分为两种：
iptables和selinux，都关闭。
3.1.关闭iptables
1、su–root（切换用户）
2、临时关闭（不用重启机器）：
service iptables stop
3、永久关闭：
chkconfig iptables off
4、查看状态chkconfig iptables –list
5、如果现实的都是关闭，就可以了。
3.2.关闭Selinux：
1、临时关闭（不用重启机器）：
setenforce0（状态变为permissive即可）
2、永久关闭（修改配置文件需要重启机器）：
vi/etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled
3、查看
命令：
getenforce
结果：
状态变为permissive即可
4.配置windows和linix机器的域名
4.1.修改windows的hosts文件：
打开：
C:
\Windows\System32\drivers\etc\hosts这个文件，将下面内容修改成你自己的ip和域名，并添加到hosts文件中，下面是个事例，你也需要设置好几个ip和域名才对，分别就是你的主和从。
其中的ip是56网段的ip，因为56网段是hostonly的，可以随便配置静态ip，客户端连接方便。
注意：
此处的域名必须和每台机器的机器名相同，机器名的查看方式为在命令行中直接输入hostname命令，即显示机器名。
如果不相同，启动时会报错，unknowhostname，
如果报错，有两种修改方式，
一种是修改/etc/sysconfig/network文件，将文件中的机器名改为此处的域名。
第二种方式是修改此处的域名，预计其名相对应。
192.168.56.200hadoop1master
192.168.56.201hadoop1slave1
192.168.56.202hadoop1slave2
192.168.56.203hadoop1slave3
4.2.修改linux的hosts文件，需要每台机器都修改。
比如：
1、master机器相应的操作如下：
1、su–root
2、vi/etc/hosts
3、添加内容类似于下面的
192.168.56.200hadoop1master
192.168.56.201hadoop1slave1
192.168.56.202hadoop1slave2
192.168.56.203hadoop1slave3
4、添加完内容，按键盘的右上角的“Esc”，退出
5、输入“:
wq”保存退出即可
2、slave1机器相应的操作如下：
1、su–root
2、vi/etc/hosts
3、添加内容类似于下面的
192.168.56.200hadoop1master
192.168.56.201hadoop1slave1
192.168.56.202hadoop1slave2
192.168.56.203hadoop1slave3
4、添加完内容，按键盘的右上角的“Esc”，退出
5、输入“:
wq”保存退出即可
3、slave2同上。
5.安装JDK（n台都要装）
5.1.切换到root用户：
su–root
5.2.查看以前是不是安装了openjdk：
命令：
rpm-qa|grepjava
显示如下：
（有则卸载，没有就不用）
tzdata-java-2013g-1.el6.noarch
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
5.3.卸载openjdk：
（其中参数“tzdata-java-2013g-1.el6.noarch”为上面查看中显示的结果，站进来就行）
rpm-e--nodepstzdata-java-2013g-1.el6.noarch
rpm-e--nodepsjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm-e--nodepsjava-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
5.4.安装sunjdk：
5.4.1.安装jdk
1、切换到root用户，如果已经是root用户就不需要切换了
命令：
su-root
2、进入usr目录
cd/usr
3、在usr目录下创建java文件夹
mkdirjava
4、将jdk-6u24-linux-i586.bin拷贝到java目录下（用工具）
用上传下载工具，从windows中将文件“jdk-6u24-linux-i586.bin”上传到linux的/usr/java下
5、进入/usr/java文件夹下
cd/usr/java
6、修改权限，参数“jdk-6u32-linux-x64.bin”为你自己上传的jdk安装文件，不要复制命令
chmod755jdk-6u32-linux-x64.bin
7、执行安装
./jdk-6u24-linux-i586.bin
8、创建快捷方式，参数“/usr/java/jdk1.6.0_32/”为你jdk安装的路径，“/usr/jdk”为你需要创建的jdk快捷方式的路径，此“/usr/jdk”路径需要配置到环境变量。
ln-s/usr/java/jdk1.6.0_32//usr/jdk
9、配置环境变量
vi/etc/profile
添加内容：
exportJAVA_HOME=/usr/jdk
exportPATH=$PATH:
$JAVA_HOME/bin
exportCLASSPATH=.:
$JAVA_HOME/lib/dt.jar:
$JAVA_HOME/lib/tools.jar
exportJAVA_HOMEPATHCLASSPATH
10、执行下命令
source/etc/profile
11、其他几台机器，安装前10步的方法同样安装。
6.创建hadoop用户和组（用于操作hadoop）
groupaddhadoop
useradd-ghadoophadoop
passwdhadoop
7.安装hadoop
7.1.1.上传
只需要上传到master机器即可。
用工具或命令将hadoop安装文件上传到/home/hadoop文件夹下。
传上去之后，用“ll”命令查看一下安装文件的所属用户，如果是属于root的，修改为hadoop用户，命令如下：
cd/home/hadoop
ll
chownhadoop:
hadoophadoop-1.0.4.tar.gz
7.1.2.解压
1、切换用户到hadoop
su–hadoop
2、执行解压命令：
tar–zxvfhadoop-1.0.4.tar.gz
7.1.3.重命名
mvhadoop-1.0.4hadoop
7.1.4.修改环境变量
1、切换用户到root
su–root
2、vi/etc/profile
3、添加内容：
exportHADOOP_HOME=/home/hadoop/hadoop
exportPATH=$PATH:
$HADOOP_HOME/bin
4、执行命令，重新编译文件
source/etc/profile
5、发送：
scp/etc/profileroot@slave1:
/etc/
scp/etc/profileroot@slave2:
/etc/
scp/etc/profileroot@slave3:
/etc/
6、切换回hadoop用户
su-hadoop
7、到其他几台机器上分别执行下面命令
su–root
source/etc/profile
su-hadoop
7.1.5.修改hadoop配置文件
1、在master机器上修改即可
2、用工具将6个修改好的配置文件上传到master机器的/home/hadoop/hadoop/conf/路径下。
3、查看这几个文件的所有者是不是hadoop
4、如果不是hadoop用户，那么你需要用root用户修改文件的所属者，命令如下：
su–root
chownhadoop:
hadoop文件名
5、修改完事，切换回hadoop用户
su-hadoop
6、用hadoop用户创建存储文件夹（权限为755）
cd/home/hadoop/hadoop
mkdirdata
mkdirtmp
chmod755data
chmod755tmp
7.1.6.发送hadoop安装包到其他机器
scp–r/home/hadoop**************.10.208:
/home/hadoop
scp–r/home/hadoop**************.10.209:
/home/hadoop
scp–r/home/hadoop**************.10.210:
/home/hadoop
7.1.7.到此为止hadoop安装完毕
7.1.8.安装ssh
0、在master机器上做操作。
1、切换到hadoop用户:
su–hadoop
2、执行下面命令
sshlocalhost（创建.ssh文件夹）
exit（退出）
3、ll–a（查看隐藏文件）
4、进入.ssh
cd.ssh
5、删除其中的文件
rm-rfknown_hosts
6、创建密钥对
ssh-keygen-trsa（一直回车即可。
#创建ssh秘钥，基于rsa算法的）
7、把公钥放到认证列表里
catid_rsa.pub>>authorized_keys
8、授权
chmod600authorized_keys
10、保证权限为以下状态：
执行命令：
ll
显示信息为：
-rw-------.1hadoophadoop39520:
55authorized_keys
-rw-------.1hadoophadoop167520:
52id_rsa
-rw-r--r--.1hadoophadoop39520:
52id_rsa.pub
10、登陆slave1，执行命令
su–hadoop
sshlocalhost
exit
11、登陆slave2，执行命令
su–hadoop
sshlocalhost
exit
12、如果有slave3，同slave1和slave2操作。
13、在master机器上操作，将文件分发给每个slave
scp~/.ssh/authorized_keyshadoop@slave1:
~/.ssh/
scp~/.ssh/authorized_keyshadoop@slave2:
~/.ssh/
scp~/.ssh/authorized_keyshadoop@slave3:
~/.ssh/
11、修改master和slave1、slave2、slave3配置信息（4台都需要修改）
su–root
用工具将sshd_config文件上传到linux的/etc/ssh/文件夹下，并确保是属于root用户的。
其中修改的信息为下面所示，下面的信息只是展示：
RSAAuthenticationyes
PubkeyAuthenticationyes
AuthorizedKeysFile.ssh/authorized_keys
GSSAPIAuthenticationno
UseDNSno
11、重新启动ssh
servicesshdrestart
12、发送配置文件到其他机器
scpsshd_configroot@slave1:
/etc/ssh/
scpsshd_configroot@slave2:
/etc/ssh/
scpsshd_configroot@slave3:
/etc/ssh/
13、登陆slave1、slave2、slave3，分别执行下面命令
su–root
servicesshdrestart
su-hadoop
13、验证
在master机器上执行下面命令：
sshslave1
如果不需要输入密码就是成功，成功后执行退出命令：
exit
7.1.9.起动机群
1、在master机器上格式化：
su-hadoop
hadoopnamenode-format
cd/home/hadoop/hadoop
查看有无logs文件夹，如果没有，证明没报错，格式化成功。
如果有，检查错误。
2、在master机器上启动：
启动集群需要使用hadoop用户，如果使用了root用户，则有些hadoop的文件权限变成了root用户的，下次启动会有问题。
如果你用root用户启动了，那么需要执行下面命令：
su–root
cd/home/hadoop
chown–Rhadoop:
hadoophadoop
su–hadoop
每台机器都需要修改。
（此命令是将文件夹的所有者更改为hadoop，其中chown为更改所有者的命令，-R为级联修改子文件夹及其子文件，hadoop：
hadoop是用户和组，最后的hadoop指的是hadoop文件夹。
）
启动命令：
start-all.sh
3、在每台机器上验证：
（会出现进程）
Jps
会出现进程：
master：
namenode
secondrednamenode
jobtracker
jps
slave1：
datanode
tasktracker
jps
4、页面监控：
http:
//master:
50070#监控HDFS
http:
//master:
50030#监控jobtraker（mapredus）
5、停止所有机器:
停止命令也需要使用hadoop用户。
stop-all.sh
8.zookeeper安装
8.1.准备环境
（2n-1台linux机器或者虚拟机:
由于zookeeper的paxos算法要求半数以上存活则为可用，所以必须准备单数个服务器搭建环境）
8.2.上传
用工具上传zookeeper安装文件到/home/hadoop，并确保文件的所属用户书hadoop，
如果不是，需要用root用户修改文件的所属者。
命令：
su–root
cd/home/hadoop
chownhadoop:
hadoopzookeeper-3.4.5.tar.gz
su-hadoop
8.3.解压
用hadoop用户解压，如果不是hadoop用户，需要su–hadoop
tar–zxvfzookeeper-3.4.5.tar.gz
8.4.重命名
需要是hadoop用户
mvzookeeper-3.4.5zookeeper
8.5.修改环境变量（集群的每台zookeeper机器都要改）
8.5.1.在zookeeper的第一台机器机器上执行
1、su–root
2、vi/etc/profile
3、添加内容：
exportZOOKEEPER_HOME=/home/hadoop/zookeeper
exportPATH=$PATH:
$ZOOKEEPER_HOME/bin
4、重新编译
source/etc/profile
5、切换用户
su–hadoop
8.5.2.在zookeeper的其他机器做同上的步骤
见上面
8.6.修改zookeeper配置文件
1、su–hadoop
2、cd/home/hadoop/zookeeper/conf
3、cpzoo_sample.cfgzoo.cfg
4、vizoo.cfg
5、添加内容,其中域名需要自己斟酌
dataDir=/home/hadoop/zookeeper/data
dataLogDir=/home/hadoop/zookeeper/log
server.1=slave1:
2888:
3888
server.2=slave2:
2888:
3888
server.3=slave3:
2888:
3888
6、创建文件夹
cd/home/hadoop/zookeeper
mkdirdata
mkdirlog
chmod755data
chmod755log
7、创建myid文件，并添加内容
cd/home/hadoop/zookeeper/data
vimyid
添加内容：
升级会员 