hadoop+Spark 详细配置.docx
《hadoop+Spark 详细配置.docx》由会员分享，可在线阅读，更多相关《hadoop+Spark 详细配置.docx（13页珍藏版）》请在冰豆网上搜索。
hadoop+Spark详细配置
安装vmware
安装ubuntu（先安装一台其他两台直接复制）
分别在三台Ubuntu机器中设置root用户机器密码，以后每次登录的时候都是用root用户登录，具体设置方式如下：
sudo-s进入root用户权限模式
vim?
/etc/lightdm/lightdm.conf
[SeatDefaults]
greeter-session=unity-greeter
user-session=Ubuntu
greeter-show-manual-login=true
allow-guest=false
启动root帐号：
sudo?
passwd?
root
三台机器修改后，再次登录系统的时候用root用户登录：
安装ssh配置无密码登陆
在
依次运行如下安装命令：
sudodpkg-iopenssh-client_6.0p1-3ubuntu1_i386.deb
sudodpkg-iopenssh-server_6.0p1-3ubuntu1_i386.deb
sudodpkg-issh_6.0p1-3ubuntu1_all.deb
参见spark集群搭建第一步
安装JDK
创建目录/usr/myapp/java
tar–zxfjdk….
在barshrc中配置环境变量
gedit~/.bashrc
在最后添加
#zffjavaenviro
exportJAVA_HOME=/usr/myapp/java/jdk1.7.0_71
exportPATH=$JAVA_HOME/bin:
$JAVA_HOME/jre/bin:
$PATH
exportCLASSPATH=$CLASSPATH:
.:
$JAVA_HOME/lib:
$JAVA_HOME/jre/lib
安装scala
配置环境
安装spark
配置环境
配置spark
exportJAVA_HOME=/usr/myapp/java/jdk1.7.0_71
exportSCALA_HOME=/usr/myapp/scala/scala-2.10.4
exportSPARK_HOME=/usr/myapp/spark/spark-1.0.2-bin-hadoop2
exportPATH=$SPARK_HOME/bin:
$SCALA_HOME/bin:
$JAVA_HOME/bin:
$JAVA_HOME/jre/bin:
$PATH
exportCLASSPATH=$CLASSPATH:
.:
$JAVA_HOME/lib:
$JAVA_HOME/jre/lib
配置修改sparkMaster的Slaves
第二步：
配置spark-env.sh
首先把spark-env.sh.template?
拷贝到spark-env.sh：
打开“spark-env.sh”文件：
修改后的配置文件的内容如下所示：
exportJAVA_HOME=/usr/myapp/java/jdk1.7.0_71
exportSCALA_HOME=/usr/myapp/scala/scala-2.10.4
exportSPARK_MASTER_IP=sparkMaster
exportSPARK_WORKER_MEMORY=2g
SparkWorker1和SparkWorker2采用和SparkMaster完全一样的Spark安装配置，在此不再赘述。
添加hadoop
1.解压
2.添加环境变量
#zffjavaenviro
exportJAVA_HOME=/usr/myapp/java/jdk1.7.0_71
exportSCALA_HOME=/usr/myapp/scala/scala-2.10.4
exportSPARK_HOME=/usr/myapp/spark/spark-1.0.2-bin-hadoop2
exportHADOOP_HOME=/usr/myapp/hadoop-2.2.0
exportPATH=$HADOOP_HOME/bin:
$SPARK_HOME/bin:
$SCALA_HOME/bin:
$JAVA_HOME/bin:
$JAVA_HOME/jre/bin:
$PATH
exportCLASSPATH=$CLASSPATH:
.:
$JAVA_HOME/lib:
$JAVA_HOME/jre/lib
3.添加一些文件夹
~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
~/hadoop-2.2.0/etc/hadoop/yarn-env.sh
~/hadoop-2.2.0/etc/hadoop/slaves
~/hadoop-2.2.0/etc/hadoop/core-site.xml
~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml
~/hadoop-2.2.0/etc/hadoop/mapred-site.xml
~/hadoop-2.2.0/etc/hadoop/yarn-site.xml
/usr/myapp/java/jdk1.7.0_71
fs.default.name
hdfs:
//sparkMaster:
9000
hadoop.tmp.dir
/usr/myapp/hadoop-2.2.0/tmp
dfs.replication
2
dfs.name.dir
/usr/myapp/hadoop-2.2.0/dfs/name
dfs.data.dir
/usr/myapp/hadoop-2.2.0/dfs/data
mapreduce.framework.name
yarn
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.hostname
sparkMaster
复制两份作为worker
修改三台机器的主机名和IP对应关系
见微软亚洲第一章第二步
升级会员 