Hadoop Hue 390详细安装文档.docx
《Hadoop Hue 390详细安装文档.docx》由会员分享，可在线阅读，更多相关《Hadoop Hue 390详细安装文档.docx（11页珍藏版）》请在冰豆网上搜索。
HadoopHue390详细安装文档
HUE3.9.0详细安装文档
友情提示，安装任何LUW软件之前，务必先阅读readme自带文档，里面有很多关键信息，不要拿着就开搞，浪费半天时间发现一大堆错误。
1环境准备
CentOS-6.8（Final）
JDK-1.8
maven-3.3.9
Git-1.7.1
Hue-3.9.0
Hadoop-2.7.3
Hive-1.2.1
Python-2.6.6
2启动HIVE后台进程（确保HIVE安装OK）
hive--servicemetastore&
hive--servicehiveserver2&
同时用ps-ef|grephive检查是否启动成功
3安装OS依赖包
yuminstall以下包：
ant
asciidoc
cyrus-sasl-devel
cyrus-sasl-gssapi
cyrus-sasl-plain
gcc
gcc-c++
gmp-devel
krb5-devel
libffi-devel
libtidy
libxml2-devel
libxslt-devel
make
mvn
mysql
mysql-devel
openldap-devel
openssl-devel
python-devel
sqlite-devel
确保安装完毕，再做后续操作，否则会抱各种错误
4编译安装HUE
4.1编译Hue（保持服务器网络畅通）
chown-Rhadoop:
Hadoophue-3.9.0
cdhue-3.9.0
makeapps
不报错则表示编译OK
4.2修改配置文件hue.ini（可参考为知笔记）
上述过程如果没有任何问题，我们就已经安装好Hue,Hue的配置文件为/***_DATA/hadoop/hue-3.9.0/desktop/conf/hue.ini，默认的配置文件不能正常运行Hue，所以需要修改其中的内容，与我们对应的Hadoop集群配置相对应。
该配置文件根据整合不同的软件，将配置分成多个段，每个段下面还有子段，便于管理配置，如下所示（省略子段名称）：
∙desktop
∙libsaml
∙libopenid
∙liboauth
∙librdbms
∙hadoop
∙filebrowser
∙liboozie
∙oozie
∙beeswax
∙impala
∙pig
∙sqoop
∙proxy
∙hbase
∙search
∙indexer
∙jobsub
∙jobbrowser
∙zookeeper
∙spark
∙useradmin
∙libsentry
4.3hue.ini关键项说明
我们很容易根据需要来配置自己需要的内容。
我们修改配置文件的情况，如下表所示：
Hue配置段
Hue配置项
Hue配置值
说明
desktop
default_hdfs_superuser
hadoop
HDFS管理用户
desktop
http_host
***-dev-hadoop-namenode-1.novalocal
HueWebServer所在主机/IP
desktop
http_port
8088
HueWebServer服务端口
desktop
server_user
hadoop
运行HueWebServer的进程用户
desktop
server_group
hadoop
运行HueWebServer的进程用户组
desktop
default_user
hue
Hue管理员
hadoop/hdfs_clusters
fs_defaultfs
hdfs:
//ns1:
8020
对应core-site.xml配置项fs.defaultFS
hadoop/hdfs_clusters
hadoop_conf_dir
/***_DATA/hadoop/hadoop-2.7.3/etc/hadoop
Hadoop配置文件目录
hadoop/yarn_clusters
resourcemanager_host
hadoop6
对应yarn-site.xml配置项yarn.resourcemanager.hostname
hadoop/yarn_clusters
resourcemanager_port
8032
ResourceManager服务端口号
hadoop/yarn_clusters
resourcemanager_api_url
http:
//***-dev-hadoop-namenode-1.novalocal:
8088
对应于yarn-site.xml配置项yarn.resourcemanager.webapp.address
hadoop/yarn_clusters
proxy_api_url
http:
//***-dev-hadoop-namenode-1.novalocal:
8888
对应yarn-site.xml配置项yarn.web-proxy.address
hadoop/yarn_clusters
history_server_api_url
http:
//***-dev-hadoop-namenode-1.novalocal:
19888
对应mapred-site.xml配置项mapreduce.jobhistory.webapp.address
beeswax
hive_server_host
***-dev-hadoop-namenode-1.novalocal
Hive所在节点主机名/IP
beeswax
hive_server_port
10000
HiveServer2服务端口号
beeswax
hive_conf_dir
/usr/local/hive/conf
Hive配置文件目录
4.4启动Hue
exportHUE_HOME=/***_DATA/hadoop/hue-3.9.0，确保已经配置HUE_HOME
进入Hue主目录执行：
nohup supervisor&
启动无异常则OK
4.5登录HUE
http:
//172.16.33.231:
8000，第一次登录输入hadoop的用户名和密码，进去后会进行配置文件检查
然后用HUE账户登录后可以新增组和用户
4.6执行HIVE查询语句
5HUE元数据库改为Mysql
5.1停止HUE服务
Ps-ef|grephue然后kill掉
5.2备份sqllite数据库
hue/build/env/bin/huedumpdata>desktopdb.json
5.3删除desktopdb.json中所有 useradmin.userprofile 的对象，以下是例子
{
"pk":
1,
"model":
"useradmin.userprofile",
"fields":
{
"creation_method":
"HUE",
"user":
1,
"home_directory":
"/user/alice"
}
},
{
"pk":
2,
"model":
"useradmin.userprofile",
"fields":
{
"creation_method":
"HUE",
"user":
1100714,
"home_directory":
"/user/bob"
}
},
.....
5.4安装配置Mysql数据库
5.4.1安装MYSQL客户端
OS
Command
RHEL
$sudoyuminstallmysql-devel
SLES
$sudozypperinstallmysql-devel
UbuntuorDebian
$sudoapt-getinstalllibmysqlclient-dev
5.4.2安装MYSQL连接器
OS
Command
RHEL
$sudoyuminstallmysql-connector-java
SLES
$sudozypperinstallmysql-connector-java
UbuntuorDebian
$sudoapt-getinstalllibmysql-java
5.4.3安装MYSQL服务器
OS
Command
RHEL
$sudoyuminstallmysql-server
SLES
$sudozypperinstallmysql $sudozypperinstalllibmysqlclient_r17
UbuntuorDebian
$sudoapt-getinstallmysql-server
5.4.4配置 /etc/f
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
bind-address=
default-storage-engine=InnoDB
sql_mode=STRICT_ALL_TABLES
5.4.5启动MySQL服务
OS
Command
RHEL
$sudoservicemysqldstart
SLESandUbuntuorDebian
$sudoservicemysqlstart
5.4.6修改密码（此步可不做）
$sudo/usr/bin/mysql_secure_installation
[...]
Entercurrentpasswordforroot（enterfornone）:
OK,successfullyusedpassword,movingon...
[...]
Setrootpassword?
[Y/n]y
Newpassword:
Re-enternewpassword:
Removeanonymoususers?
[Y/n]Y
[...]
Disallowrootloginremotely?
[Y/n]N
[...]
Removetestdatabaseandaccesstoit[Y/n]Y
[...]
Reloadprivilegetablesnow?
[Y/n]Y
Alldone!
5.4.7配置MySQL开机自启
OS
Command
RHEL
$sudo/sbin/chkconfigmysqldon
ssudo/sbin/chkconfig--listmysqld mysqld0:
off1:
off2:
on3:
on4:
on5:
on6:
off
SLES
$sudochkconfig--addmysql
UbuntuorDebian
$sudochkconfigmysqlon
5.4.8创建数据库hue
mysql>createdatabasehue;
5.4.9给hue授权
mysql>grantallonhue.*to'hue'@'localhost'identifiedby'';
配置hue.ini touseMySQL.修改以下选项
host=***-dev-hadoop-namenode-1.novalocal
port=3306
engine=mysql
user=hue
password=hue
name=hue
5.4.10Loadanybackedupdata:
1.Ensurealogsdirectoryexistsandiswritableat /opt/cloudera/parcels/CDH/lib/hue/logs.
2.Ensurethelogsdirectoryhas hue userandgroupownership.
3.Synchronizeandmigratethedatabase.
$sudomkdir/opt/cloudera/parcels/CDH/lib/hue/logs
$sudochownhue:
hue/opt/cloudera/parcels/CDH/lib/hue/logs
$sudo-uhue/build/env/bin/huesyncdb--noinput
$sudo-uhue/build/env/bin/huemigrate
$mysql-uhue-p
mysql>SHOWCREATETABLEauth_permission;
5.4.11（InnoDBonly）Droptheforeignkey:
mysql>ALTERTABLEauth_permissionDROPFOREIGNKEYcontent_type_id_refs_id_XXXXXX;
a.Deletetherowsinthe django_content_type table:
mysql>DELETEFROMhue.django_content_type;
b.Loadthedata:
$/build/env/bin/hueloaddata.json
c.（InnoDBonly）Addtheforeignkey:
$mysql-uhue-p
mysql>ALTERTABLEauth_permissionADDFOREIGNKEY（`content_type_id`）
REFERENCES`django_content_type`（`id`）;
5.4.12再次启动HUE
nohupsupervisor&
无错误信息则正常
6FAQ帮助
6.1Mysql报错ERROR1045
错误：
ERROR1045（28000）:
Accessdeniedforuser‘root’@’localhost’（usingpassword:
NO）
解决步骤：
#1.停止mysql数据库
/etc/init.d/mysqldstop
#2.执行如下命令
mysqld_safe--user=mysql--skip-grant-tables--skip-networking&
#3.使用root登录mysql数据库
mysql-urootmysql
#4.更新root密码
mysql>UPDATEuserSETPassword=PASSWORD（'hadoop'）whereUSER='root';
#5.刷新权限
mysql>FLUSHPRIVILEGES;
#6.退出mysql
mysql>quit
#7.重启mysql
/etc/init.d/mysqldrestart
#8.使用root用户重新登录mysql
mysql-uroot-p
Enterpassword:
hadoop
6.2filelists.sqlite.bz2frombase:
[Errno-1]的解决方法
Centos下更新出现：
[Errno-1]Metadatafiledoesnotmatchchecksum
用下面方法解决：
yumcleanall
yummakecache
6.3Cannotretrieverepositorymetadata（repomd.xml）forrepository:
xxxxxx
这个错误其实很简单，错误信息已经提示你，就是xxxxxx.repo这个文件有问题。
1.打开/etc/yum.repos.d/xxxxxx.repo文件
2.enabled=1改成enabled=0
升级会员 