hadoop+Spark 详细配置Word下载.docx

hadoop+Spark 详细配置Word下载.docx

《hadoop+Spark 详细配置Word下载.docx》由会员分享，可在线阅读，更多相关《hadoop+Spark 详细配置Word下载.docx（13页珍藏版）》请在冰豆网上搜索。

greeter-show-manual-login=true

allow-guest=false

启动root帐号：

sudo?

passwd?

root

三台机器修改后，再次登录系统的时候用root用户登录：

安装ssh配置无密码登陆

在

依次运行如下安装命令：

sudodpkg-iopenssh-client_6.0p1-3ubuntu1_i386.deb

sudodpkg-iopenssh-server_6.0p1-3ubuntu1_i386.deb

sudodpkg-issh_6.0p1-3ubuntu1_all.deb

参见spark集群搭建第一步

安装JDK

创建目录/usr/myapp/java

tar–zxfjdk….

在barshrc中配置环境变量

gedit~/.bashrc

在最后添加

#zffjavaenviro

exportJAVA_HOME=/usr/myapp/java/jdk1.7.0_71

exportPATH=$JAVA_HOME/bin:

$JAVA_HOME/jre/bin:

$PATH

exportCLASSPATH=$CLASSPATH:

.:

$JAVA_HOME/lib:

$JAVA_HOME/jre/lib

安装scala

配置环境

安装spark

配置spark

exportSCALA_HOME=/usr/myapp/scala/scala-2.10.4

exportSPARK_HOME=/usr/myapp/spark/spark-1.0.2-bin-hadoop2

exportPATH=$SPARK_HOME/bin:

$SCALA_HOME/bin:

$JAVA_HOME/bin:

配置修改sparkMaster的Slaves

第二步：

配置spark-env.sh

首先把spark-env.sh.template?

拷贝到spark-env.sh：

打开“spark-env.sh”文件：

修改后的配置文件的内容如下所示：

exportSPARK_MASTER_IP=sparkMaster

exportSPARK_WORKER_MEMORY=2g

SparkWorker1和SparkWorker2采用和SparkMaster完全一样的Spark安装配置，在此不再赘述。

添加hadoop

1.解压

2.添加环境变量

exportHADOOP_HOME=/usr/myapp/hadoop-2.2.0

exportPATH=$HADOOP_HOME/bin:

$SPARK_HOME/bin:

3.添加一些文件夹

~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

~/hadoop-2.2.0/etc/hadoop/yarn-env.sh

~/hadoop-2.2.0/etc/hadoop/slaves

~/hadoop-2.2.0/etc/hadoop/core-site.xml

~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

~/hadoop-2.2.0/etc/hadoop/mapred-site.xml

~/hadoop-2.2.0/etc/hadoop/yarn-site.xml

/usr/myapp/java/jdk1.7.0_71

<

configuration>

property>

name>

fs.default.name<

/name>

value>

hdfs:

//sparkMaster:

9000<

/value>

/property>

<

hadoop.tmp.dir<

/usr/myapp/hadoop-2.2.0/tmp<

/configuration>

dfs.replication<

2<

dfs.name.dir<

/usr/myapp/hadoop-2.2.0/dfs/name<

dfs.data.dir<

/usr/myapp/hadoop-2.2.0/dfs/data<

mapreduce.framework.name<

yarn<

yarn.nodemanager.aux-services<

mapreduce_shuffle<

yarn.resourcemanager.hostname<

sparkMaster<

复制两份作为worker

修改三台机器的主机名和IP对应关系

见微软亚洲第一章第二步