Hadoop220+Hbase0981+Sqoop144+Hive013完全安装手册.docx
《Hadoop220+Hbase0981+Sqoop144+Hive013完全安装手册.docx》由会员分享，可在线阅读，更多相关《Hadoop220+Hbase0981+Sqoop144+Hive013完全安装手册.docx（15页珍藏版）》请在冰豆网上搜索。
Hadoop220+Hbase0981+Sqoop144+Hive013完全安装手册
Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13完全安装手册
文档时间
2014/7/04
各软件版本
Hadoop
2.2.0
Hbase
0.98.1
Sqoop
1.4.4
Hive
0.13
前言：
3
一.Hadoop安装（伪分布式）4
1.操作系统4
2.安装JDK4
1>下载并解压JDK4
2>配置环境变量4
3>检测JDK环境4
3.安装SSH5
1>检验ssh是否已经安装5
2>安装ssh5
3>配置ssh免密码登录5
4.安装Hadoop6
1>下载并解压6
2>配置环境变量6
3>配置Hadoop6
4>启动并验证8
前言：
网络上充斥着大量Hadoop1的教程，版本老旧，Hadoop2的中文资料相对较少，本教程的宗旨在于从Hadoop2出发，结合作者在实际工作中的经验，提供一套最新版本的Hadoop2相关教程。
为什么是Hadoop2.2.0，而不是Hadoop2.4.0
本文写作时，Hadoop的最新版本已经是2.4.0，但是最新版本的Hbase0.98.1仅支持到Hadoop2.2.0，且Hadoop2.2.0已经相对稳定，所以我们依然采用2.2.0版本。
一.Hadoop安装（伪分布式）
1.操作系统
Hadoop一定要运行在Linux系统环境下，网上有windows下模拟linux环境部署的教程，放弃这个吧，莫名其妙的问题多如牛毛。
2.安装JDK
1>下载并解压JDK
我的目录为：
/home/apple/jdk1.8
2>配置环境变量
打开/etc/profile，添加以下内容：
exportJAVA_HOME=/home/apple/jdk1.8
exportPATH=$PATH:
$JAVA_HOME/bin
exportCLASSPATH=.:
$JAVA_HOME/lib/tools.jar:
$JAVA_HOME/lib/dt.jar
执行source/etc/profile，使更改后的profile生效。
执行以下命令，赋予JDK运行的权限：
chmod777/home/apple/jdk1.8/bin/*
chmod777/home/apple/jdk1.8/lib/*
3>检测JDK环境
执行java–version，查看结果，如出现如下提示，则说明JDK已成功配置：
3.安装SSH
1>检验ssh是否已经安装
Ubuntu系统可以通过如下命令来查看ssh是否已经安装：
netstat-an|grep22
如果已安装，可跳过第二步。
2>安装ssh
Ubuntu系统可以通过如下命令来安装ssh：
sudo apt-get install ssh
3>配置ssh免密码登录
通过如下命令来配置ssh免密码登录：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
输入如下命令验证免密码登录是否成功：
sshlocalhost
如出现如下界面，则表示登录成功：
4.安装Hadoop
1>下载并解压
我的目录为：
/home/apple/hadoop-2.2.0
2>配置环境变量
打开/etc/profile，添加以下内容：
exportHADOOP_HOME=/home/apple/hadoop-2.2.0
exportHADOOP_MAPRED_HOME=$HADOOP_HOME
exportHADOOP_COMMON_HOME=$HADOOP_HOME
exportHADOOP_HDFS_HOME=$HADOOP_HOME
exportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
exportHADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
exportYARN_HOME=$HADOOP_HOME
exportPATH=$PATH:
$JAVA_HOME/bin:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin
执行source/etc/profile，使更改后的profile生效。
执行以下命令，赋予Hadoop运行的权限：
chmod777/home/apple/hadoop-2.2.0/bin/*
chmod777/home/apple/hadoop-2.2.0/sbin/*
3>配置Hadoop
修改$HADOOP_HOME/etc/hadoop目录下的配置文件。
core-site.xml添加以下内容：
fs.default.name
hdfs:
//localhost:
9000
hadoop.native.lib
true
hadoop-env.sh修改以下内容：
exportJAVA_HOME=/home/apple/jdk1.8
hdfs-site.xml添加以下内容：
dfs.replication
1
dfs.namenode.name.dir
file:
/home/hadoop/hadoop-2.2.0/hdfs/namenode
dfs.datanode.data.dir
file:
/home/hadoop/hadoop-2.2.0/hdfs/datanode
这里的两个地址，是你namenode和datanode两个节点上，希望hdfs文件存储的位置。
mapred-site.xml.template改为mapred-site.xml，添加以下内容：
mapreduce.framework.name
yarn
yarn-site.xml添加以下内容：
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
4>启动并验证
用如下命令启动或关闭Hadoop：
start-all.sh
stop-all.sh
如果一切正常，使用jps命令你会看到如下信息：
访问8088端口可以查看job信息
访问50070端口可以查看namenode信息：
二.Hbase安装
1.下载并解压
解压从官网下的hbase-0.98.1-hadoop2-bin.tar.gz包到本地目录，我的目录为/home/apple/hbase-0.98.1。
2.配置环境变量
打开/etc/profile，添加以下内容：
exportHBASE_HOME=/home/apple/hbase-0.98.1
exportPATH=$PATH:
$JAVA_HOME/bin:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin:
$HBASE_HOME/bin:
执行source/etc/profile，使更改后的profile生效。
执行以下命令，赋予Hbase运行的权限：
chmod777/home/apple/hbase-0.98.1/bin/*
3.配置Hbase
打开HBASE_HOME/conf/hbase-env.sh，添加以下内容：
exportJAVA_HOME=/home/apple/jdk1.8/
exportHBASE_MANAGES_ZK=true
打开HBASE_HOME/conf/hbase-site.xml，添加以下内容：
hbase.rootdir
hdfs:
//localhost:
9000/hbase
hbase.cluster.distributed
true
hbase.master
localhost:
60000
hbase.zookeeper.quorum
localhost
4.启动Hbase
用如下命令启动和关闭Hbase：
start-hbase.sh
stop-hbase.sh
注意：
必须先启动Hadoop，再启动Hbase；先关闭Hbase，再关闭Hadoop
启动后，使用jps查看Hbase进程：
如有错误或Hbase进程未启动，可通过HBASE_HOME/logs/hbase-apple-master-机器名.log来查看启动过程信息。
5.验证Hbase
用如下命令进入Hbase：
hbaseshell
通过list命令，查看所有表名：
三.Sqoop安装
1.下载并解压
解压从官网下的sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz包到本地目录，我的目录为/home/apple/sqoop-1.4.4。
2.配置环境变量
打开/etc/profile，添加以下内容：
exportSQOOP_HOME=/home/apple/sqoop-1.4.4
exportPATH=$PATH:
$JAVA_HOME/bin:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin:
$HBASE_HOME/bin:
$SQOOP_HOME/bin
执行source/etc/profile，使更改后的profile生效。
执行以下命令，赋予Sqoop运行的权限：
chmod777/home/apple/sqoop-1.4.4/bin/*
3.配置Sqoop
打开SQOOP_HOME/conf/sqoop-env.sh，添加以下内容：
exportHADOOP_COMMON_HOME=Hadoop路径
exportHADOOP_MAPRED_HOME=Hadoop路径/share/hadoop/mapreduce
exportHBASE_HOME=Hbase路径（不用Hbase可不填）
exportHIVE_HOME=Hive路径（不用Hive可不填）
4.启动与验证Sqoop
Sqoop无需启动即可使用，我们通过一条链接mysql数据库的命令，来验证Sqoop是否可用：
sqooplist-databases--connectjdbc:
mysql:
//localhost:
3306/--usernameroot--passwordroot
如果运行成功，我们会看到所有的数据库名称列表：
四.Hive安装
1.下载并解压
解压从官网下的apache-hive-0.13.0-bin.tar.gz包到本地目录，我的目录为/home/apple/hive-0.13。
2.配置环境变量
打开/etc/profile，添加以下内容：
exportHIVE_HOME=/home/apple/hive-0.13
exportPATH=$PATH:
$JAVA_HOME/bin:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin:
$HBASE_HOME/bin:
$HIVE_HOME/bin:
$SQOOP_HOME/bin
执行source/etc/profile，使更改后的profile生效。
执行以下命令，赋予Sqoop运行的权限：
chmod777/home/apple/hive-0.13/bin/*
3.配置Hive
打开HIVE_HOME/conf/hive-site.xml，添加以下内容：
javax.jdo.option.ConnectionURL
jdbc:
mysql:
//192.168.0.230:
3306/hive?
createDatabaseIfNotExist=true
JDBCconnectstringforaJDBCmetastore
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
DriverclassnameforaJDBCmetastore
javax.jdo.option.ConnectionUserName
root
usernametouseagainstmetastoredatabase
javax.jdo.option.ConnectionPassword
root
passwordtouseagainstmetastoredatabase
以上四项分别是：
数据库连接，数据库驱动名，用户名，密码。
复制数据库驱动jar包到HIVE_HOME/lib目录。
注意：
如果hive的数据库使用的是mysql，不要使用utf8编码格式，而使用latin1编码。
4.启动与验证Hive
使用hive命令进入Hive的操作界面，进入成功后如下图所示：
查看数据库，会看到hive自动创建的一系列表：
升级会员 